kissg Blog

勤耕不辍.

【读书笔记】小岛经济学

起朱楼、宴宾客、楼塌了

前言 在微信读书上看到我妹在读《小岛经济学》,并且难得地给出了五星好评。好奇地点开来看,然后就被深深地吸引住了,太过瘾了。 《小岛经济学》,一本经济学入门读物,讲述了人类与鱼的故事:怎么高效地捕鱼,一条鱼引发的革命,大鱼为何变成小鱼,如何空手套白鱼…… 噢,故事中的鱼就是现实中的货币。 推荐给所有对经济学感兴趣的朋友。 推荐指数:★★★★☆ 这是一本怎样的书? 首先...

papernotes

Neural Machine Translation by Jointly Learning to Align and Translate

论文地址: https://arxiv.org/abs/1409.0473) TL;DR 本文是将 Attention Mechanism 引入机器翻译的第一文, 文中称为对齐 Alignment. 在 encoder 与 decoder 之间增加了一个 alignment model, 使得翻译不再是将 source 编码成固定长度的向量再解码成 target, 而是维护一个可变的 c...

论文笔记 4

Word Embeddings 炒冷饭

Efficient Estimation of Word Representations in Vector Space 本文是 word2vec 的第一篇, 提出了大名鼎鼎的 CBOW 和 Skip-gram 两大模型. 由于成文较早, 本文使用的一些术语有一些不同于现在的叫法, 我都替换为了现在的叫法. CBOW 的架构如下所示. 与作者提到的 feedforward NN...

[译记]Word Embeddings 2

Softmax s

本文与上一篇的笔记师出同源, 主要讲 Softmax, 单独拎出来. softmax 的高计算开销在于需要计算 hidden state h 和所有单词的 output word embeddings 的内积, 求和作为分母. Hierarchical Softmax Hierarchical softmax, 分层 Softmax, H-Softmax 受二叉树...

[译记]Word Embeddings

从 0 到 1

在做一个课程作业, 看了一些 Word Embeddings 相关的论文和博客. 以下内容基本上是看博客的时候摘译的, 写得很好, 恨不得全翻了. 论文笔记反正已经欠了一屁股了:( Brief history Bengio 2003 年的文章发明了 word embeddings 一词, 此时 word embedding 和模型参数一起训练 Collobert 200...

论文笔记3

AAE, ALI, BiGAN

这是上周的笔记, 笔记本摔了, 送去修了整一个星期. 这周的笔记, 以后慢慢补吧. :) TL;DR Adversarial Autoencoders 结合 GAN 与 VAE, 提出了对抗自编码器 AAE, 执行变分推断 Variational Inference 来匹配自编码器的潜变量的后验分布与任意的潜变量先验分布. 该匹配过程保证了从先验空间的任意部分都能生成有意义的结果...

Mendeley, 文献管理小助手

Mendeley简易使用指南

本周邂逅了一款文献管理软件——Mendeley,玩了一天,甚得我心,推荐给大家。以下是我写的使用指南,基本涵盖了Mendeley文献管理的所有功能。 我使用的操作系统是Ubuntu,一款Linux发行版。其实我最初听说的是Endnote,但它并没有提供Linux版本。为了能方便地进行文献管理,不必开一个虚拟机或者重启Windows系统(双系统),我选择了提供全平台支持(Window...

论文笔记2

LAPGAN, DCGAN, Improved Techniques for Training GANs

根据文章的描述, GAN 与 cGAN 的代码实现见GANs-in-PyTorch PS: 文中偶尔出现的 [...] 用于帮助读者断句, 此后不再赘述. TL;DR LAPGAN 的创新点是: 使用拉普拉斯金字塔的结构, 以从粗糙到细致的方式生成图片. 在金字塔的每一层, 使用 GAN 方法训练一个图片生成模型 换言之, 该方法利用了自然图片不同尺寸的缩放结构, 构建了...

论文笔记

GAN 开山之作, 综述及 Conditional GAN

我的研究方向是生成式对抗网络 GAN, 这段时间读的都是 GAN 的相关论文, 我会慢慢地把都读过的论文的笔记上传到 Github 以及博客上来. 由于本期涉及 GAN 的开山之作与一篇综述, 内容比较多, 暂时就放 3 篇笔记. Generative Adversarial Nets 本文是 GAN 的开山之作. GAN 由两个神经网络组成, 一为生成器 Generato...

神: 算法, 无人驾驶x共享=真·无人驾驶, 智能与意识的分离

未来简史读后感

书中自有颜如玉. 前言 最近读完了两本书, 其一是尤瓦尔•赫拉利的”未来简史”. 和它的前辈”人类简史”一样, 都是难得的男女老少皆宜的好书, 力荐. “未来简史”的开篇与”人类简史”有大量的重合, 这对于没有读过”人类简史”的读者是一种较好的知识补充; 但对于读过”人类简史”的读者, 能帮助回顾, 但总的来说, 显得冗长. 同”人类简史”一样, 书中的文字总是能让人感受到一...