担当教員

東京大学大学院工学系研究科准教授　岩澤有祐

目標

本講座は大規模言語モデル（Large Language Models, LLM)に関して体系的に学べる講座を目的として開催されます。
具体的には以下のスキルを身につける事を目的としています。

• LLMの原理について，事前学習からRLHFまでの一連の流れや意味合いを理解する
• LLMの学習や推論を支える技術について理解する
• 既に公開されているLLMモデルやAPIなどの活用方法を理解する

キーワード

LLM、NLP、RLHF、人工知能、深層学習、ニューラルネットワーク、自然言語処理、強化学習、世界モデル

講義計画

開始日：9月4日（水）　
※スケジュール・テーマ等予告なく変更する可能性があります。講義詳細はこちらをご覧ください。

※毎週水曜日　19:00-21:00　（第6回のみ、金曜日 10:00-12:00）

第1回 (9/4)	Overview
第2回 (9/11)	PromptingとRAG
第3回 (9/18)	Pre-training
第4回 (9/25)	Scaling Low
第5回 (10/2)	Supervised Fine-Tuning
第6回 (10/4)	LLMの発展を支える半導体エコシステム
第7回 (10/9)	RLHF & Alignment
第8回 (10/16)	Advanced Pre-training
第9回 (10/23)	Safety
第10回 (10/30)	LLMの分析と理論
第11回 (11/6)	Application of LLM (Domain Specific LLM)
第12回 (11/13)	Application of LLM (LLM for Control)

講義の受講形式

• オンライン講義を開講し、全国の受講生と共に同時受講いただきます。
• 講義時間中は講師にテキストで質問することが可能です。
• 講義時間に参加できない場合は、翌日録画講義を配信しますので、次週の講義までに視聴し課題に取り組んでいただきます。
• コンペを開催します。

修了基準

修了基準の公開可否については追って発表とします。

受講上の留意点

• 本講座は前提条件をご確認の上、条件が当てはまる方を対象としています。LLMのモデルのアーキテクチャーまで取り扱う実践的な講義のため、ご自身が前提知識を有し・条件を満たしているかご確認の上ご応募ください。
• 前提条件
  • Zoom、Googleサービス（google drive、google form、google colab等）、Webブラウザ、Slackを利用できるPCが用意できること
  • 毎回の講義を確実に視聴できること
  • 最低でも毎回3時間程度の自習時間が確保できること
  • 大学の理系学部レベルの線形代数、微分積分、確率論・統計学に関する知識を有すること
  • 機械学習の基礎知識を備え、基礎的な実装が自身でできること    (Pytorch，TensorFlow，JAXなどのフレームワークを使ってモデルの構築・訓練・評価を行った経験があること)
• 募集対象　　
  • 学生
    （社会人学生も可。ただし大学生と社会人学生の場合、学士以上の学位取得ができる学生が対象）
  • 東京大学の教職員
  • 国家、地方公務員　
  • 研究者　
  • スタートアップ企業の社員　
• メタバース工学部会員企業ご所属以外の方で、受講希望の方はこちらをご確認の上、お申し込みください。