担当教員

東京大学大学院工学系研究科准教授　岩澤有祐

目標

本講座は、大規模言語モデル（LLM）に関する体系的な知識と、実践的なスキルの習得を目的として開講します。
講義では以下のスキルを中心に習得します。
・LLMの基礎理論とアーキテクチャの理解（Transformer・Attention機構など）
・事前学習から事後学習（RLHF含む）までの開発フローの理解
・モデル推論の仕組みと最新事例（DeepSeekなど）
・公開済みモデル・APIの活用による性能最適化の実践手法
LLMに関する理論・技術・実装を体系的に学びたい方に最適な講座です。

講義計画

開始日：10/1(水)　19:00～21:00
〇本講義は完全オンライン（zoom）で開催いたします。
※全回監修：松尾豊、岩澤有祐、小島武、小橋洋平
※授業コンテンツに関しては、変更する場合がございます。ご了承ください。

。講義詳細はこちらをご覧ください。

※毎週水曜日　19:00-21:00　

第1回 (10/1(水))	講座概要
第2回 (10/8(水))	推論（Prompting，In-context Learning）
第3回 (10/15(水))	事前学習
第4回 (10/22(水))	スケール則
第5回 (10/29(水))	事前学習（上級編）
第6回 (11/5(水))	ファインチューニング
第7回 (11/12(水))	強化学習
第8回 (11/19(水))	学習データと評価ベンチマークの整備

講義の受講形式

• 講義について
• 本セミナーは、配信される講義映像を、各人が自宅等で視聴・演習していただく形式です
• 各講義日の19:00〜21:00にライブ配信します（一部別日時あり）。
• アーカイブ動画を視聴しての受講も可能です（修了するには、期限内に出席登録をする必要があります）
• ライブ配信への参加方法などの詳細については、受講が決定した方にご連絡いたします
• 講義日程・内容は変更になる場合がございます。

修了基準

本講座を修了するためには、以下の条件が必要です。

• 一定回数以上の出席（録画講義を視聴し、講義後1週間は出席登録可能）
• 宿題を一定回数以上提出し、一定の点数を得る
• 演習課題（予定）を提出し、一定の点数を得る

受講上の留意点

• 本講座は下記の前提条件をご確認の上、条件が当てはまる方を対象としています。LLMのモデルのアーキテクチャーまで取り扱う実践的な講義のため、ご自身のレベルに見合っているかご確認の上ご応募ください
• 前提条件
  • 必須
    • Zoom、Googleサービス（google drive、google form、google colab等）、Webブラウザ、Slackを利用できるPCが用意できること
    • 毎回の講義を確実に視聴できること（録画視聴も可能）
    • 最低でも毎回3時間程度の自習時間が確保できること
  • 推奨
    • 大学レベルの線形代数、微分積分、確率論・統計学に関する知識を有すること
    • 機械学習の基礎知識を備え、基礎的な実装が自身でできること (PytorchTensorFlow，JAXなどのフレームワークを使ってモデルの構築・訓練・評価を行った経験があること)