chainer

EncoderDecoder で日英翻訳をしてみた (その4)

前回は Attention 付きの EncoderDecoder モデルを紹介した。 今回は、モデルではなく、予測時のアルゴリズムを変えて精度向上を目指してみる。 前回までの翻訳アルゴリズム モデルがすでに得られているとする。 前回までは、このモデルを使って、翻訳元の文…

EncoderDecoder で日英翻訳をしてみた (その3)

前回からの続き。 Chainer を用いて、Attention つきの EncoderDecoder を実装する。 モデルの実装 まずはモデルのコンストラクタ。 前回と同じく、LSTM の実装には NStepLSTM を使った。 class EncoderDecoder(Chain): def __init__(self, input_dimension:…

EncoderDecoder で日英翻訳をしてみた (その2)

前回 は基本となる EncoderDecoder を紹介した。 この記事では、Attentionと呼ばれるテクニックを紹介する。 Attention EncoderDecoder では、Encoder から Decoder に渡されるのは、ひとつの固定長ベクトルだけだった。 入力系列がどんなに長かったとしても…

Word2Vec メモ その2

昨日の記事の続き。 Word2Vec を Chainer で実装していく。 完全なコードは以下の URL にある。 workspace/learning-chainer/word2vec at master · nojima/workspace · GitHub model 誤差関数をネットワークとして表現すると下図のようになる。 普通のニュー…

Word2Vec のメモ その1

Chainer 本 を読みながら Word2Vec を Chainer で実装してみたので、その過程でわかったことをメモしておく。 注意: 素人なので完全に間違っているかもしれない。 Word2Vec Word2Vec の目的は、各単語の 分散表現 を求めること。 単語の分散表現とは、単語の…