kissg Blog

勤耕不辍.

[译记]Word Embeddings 2

Softmax s

本文与上一篇的笔记师出同源, 主要讲 Softmax, 单独拎出来. softmax 的高计算开销在于需要计算 hidden state h 和所有单词的 output word embeddings 的内积, 求和作为分母. Hierarchical Softmax Hierarchical softmax, 分层 Softmax, H-Softmax 受二叉树...

[译记]Word Embeddings

从 0 到 1

在做一个课程作业, 看了一些 Word Embeddings 相关的论文和博客. 以下内容基本上是看博客的时候摘译的, 写得很好, 恨不得全翻了. 论文笔记反正已经欠了一屁股了:( Brief history Bengio 2003 年的文章发明了 word embeddings 一词, 此时 word embedding 和模型参数一起训练 Collobert 200...

论文笔记3

AAE, ALI, BiGAN

这是上周的笔记, 笔记本摔了, 送去修了整一个星期. 这周的笔记, 以后慢慢补吧. :) TL;DR Adversarial Autoencoders 结合 GAN 与 VAE, 提出了对抗自编码器 AAE, 执行变分推断 Variational Inference 来匹配自编码器的潜变量的后验分布与任意的潜变量先验分布. 该匹配过程保证了从先验空间的任意部分都能生成有意义的结果...

Mendeley, 文献管理小助手

Mendeley简易使用指南

本周邂逅了一款文献管理软件——Mendeley,玩了一天,甚得我心,推荐给大家。以下是我写的使用指南,基本涵盖了Mendeley文献管理的所有功能。 我使用的操作系统是Ubuntu,一款Linux发行版。其实我最初听说的是Endnote,但它并没有提供Linux版本。为了能方便地进行文献管理,不必开一个虚拟机或者重启Windows系统(双系统),我选择了提供全平台支持(Window...

论文笔记2

LAPGAN, DCGAN, Improved Techniques for Training GANs

根据文章的描述, GAN 与 cGAN 的代码实现见GANs-in-PyTorch PS: 文中偶尔出现的 [...] 用于帮助读者断句, 此后不再赘述. TL;DR LAPGAN 的创新点是: 使用拉普拉斯金字塔的结构, 以从粗糙到细致的方式生成图片. 在金字塔的每一层, 使用 GAN 方法训练一个图片生成模型 换言之, 该方法利用了自然图片不同尺寸的缩放结构, 构建了...

论文笔记

GAN 开山之作, 综述及 Conditional GAN

我的研究方向是生成式对抗网络 GAN, 这段时间读的都是 GAN 的相关论文, 我会慢慢地把都读过的论文的笔记上传到 Github 以及博客上来. 由于本期涉及 GAN 的开山之作与一篇综述, 内容比较多, 暂时就放 3 篇笔记. Generative Adversarial Nets 本文是 GAN 的开山之作. GAN 由两个神经网络组成, 一为生成器 Generato...

神: 算法, 无人驾驶x共享=真·无人驾驶, 智能与意识的分离

未来简史读后感

书中自有颜如玉. 前言 最近读完了两本书, 其一是尤瓦尔•赫拉利的”未来简史”. 和它的前辈”人类简史”一样, 都是难得的男女老少皆宜的好书, 力荐. “未来简史”的开篇与”人类简史”有大量的重合, 这对于没有读过”人类简史”的读者是一种较好的知识补充; 但对于读过”人类简史”的读者, 能帮助回顾, 但总的来说, 显得冗长. 同”人类简史”一样, 书中的文字总是能让人感受到一...

微信的世界

浅谈我眼中的微信

如果评一个国内第一手机应用, 我觉得非微信莫属. 微信推出于 2011 年 1 月 21 日. 我是在 2011 年我高一的暑假接触到它的, 算是早期用户吧. 在微信之前, 用 QQ, 都是文字聊天. 微信带来了语音聊天. 在我看来, 就是这样一个聊天方式的变化, 引爆了中国的社交网络: 对于我们 (90 后) 的父辈, 甚至祖辈, 他们可能不会拼音打字, 甚至不识字, 语音...

吴恩达深度学习第三课笔记

Structuring Machine Learning Projects

Course 3 week1: Machine Learning Strategy 1 训练时可采取的一些机器学习策略罗列: 收集更多数据 收集更多样的训练集 使用梯度下降时, 训练更长时间 尝试用 Adam 代替梯度下降 尝试更大/更小的神经网络 尝试 Dropout regularization ...

吴恩达深度学习第二课笔记

Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization

Course 2: Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization week 1: Practical Aspects of Deep Learning 训练深度学习模型是一项 empirical 的任务: 传统机器学习由于数据量比较小, 通常...