OpenAIによってChatGPTが公開されて以降、対話AIが大きく注目を集めるようになりました。ChatGPT の仕組みについては同じく OpenAIによる研究であるInstructGPTの論文と同様とされることから、関連して数多くの解説コンテンツが作成されています。

一方で、「使い方」や「概要」の把握を主目的とする解説コンテンツが多く、仕組みの解説が行われているケースが少ないです。さらに仕組み自体が「Transformer」+「強化学習」に基づくことからかなり複雑であり、「詳しい」かつ「読みやすい」解説はなかなかありません。そこで本書では前作の「直感的に理解する Transformer の仕組み」の内容に加えて ChatGPT(InstructGPT 論文) の仕組みの理解ができるように取りまとめを行いました。

昨今 ChatGPT や GPT4 などが大きな注目を集めており進化が目覚まし いように見えますが、要素技術に着目すると、コア部分の処理に用いられる モジュールは Transformer であり、直近 5 年以上は大きなトレンドの変化 は起きていません。
逆に考えると Transformer の仕組みがそれほど優秀かつ汎用的であると いうことであり、今後も多く用いられることが予測されます。
当テキストでは昨今大きな注目を集める ChatGPT や GPT4 の主 要モジュールに用いられる「Transformer」の「直感的な理解」が可能にな るように取りまとめを行いました。

「チョコボール」というお菓子をご存知でしょうか？森永製菓株式会社が発売しているロングセラーなお菓子ですね（知らない？それなら今すぐコンビニに走って買って来ましょう）。
チョコボールといえばエンゼル。しかし、エンゼルの出現確率は公式には発表されていません。そこで本書では、筆者が購入して集めたデータに基づいてエンゼルの出現確率を推定しようという試みを解説します。エンゼル（特に金のエンゼル）の出現は稀な現象です。そこで、データ量が潤沢ではなくても合理的な推定結果を算出できる「ベイズ推論」の枠組みを利用して出現確率の推定を行います。
ベイズ推論自体の解説もできるだけ詳細に記載しています。チョコボールのエンゼルに興味がある方もベイズ推論に興味がある方も一読いただけたらと思います。

近年話題のBERT・XLNetなどの言語処理における事前学習モデルについて取り扱いました。論文や著者に近しい出展の実装など、極力一次ソースを元に言語処理の基本的な内容も加筆しながらまとめた形になります。

本書ではDeepLearningの論文を実際に自分で読めるようになるための手引きとなるように内容をまとめました。

高校数学の演習を通して機械学習のアルゴリズムを導出していくテキストです。ニューラルネットワークやランダムフォレストのアルゴリズムを関連する数学の問題演習を通して導出を行います。

強化学習の入門書としてなかなかわかりやすいのがないので、書いてみました！
本書ではDeep Q-Network の理解に入門にあたっての目標を絞って強化学習の基礎について80 ページ程度にコンパクトにまとめました。

Python実装を元に統計モデリングについて学べるようにということで書いてみました

この本はこれまで30 回以上にわたって実施した言語処理のセミナーを元に再構成を行い、自然言語処理の基本をまとめたものです。自然言語処理は一見どうやるのか想像つかないところもあり、最初は難しそうに感じがちですが、案外やってみるとそこまで難しくなく手軽に試すことができます。

研究トレンドについて詳しく確認するという内容もあっても良いと思われたため、本書ではそれを受けてTransformer やBERT 関連の研究のトレンドについて取り扱うことをメインとして執筆を行いました。