LLM 101: 一起入门大语言模型 / Winter 2024

Course Description

这门课程是我结合自己学习大语言模型（LLM）的经验，以及国内外高校在NLP/LLM领域的课程内容设计的。虽然我有一定的NLP知识背景，但在学习LLM的过程中，依然被其庞大繁琐的各种知识点困扰，而且，LLM作为当下最前沿的科学领域(之一)，发展极为迅猛，新论文和新概念层出不穷，如何紧跟前沿的研究进展也成为一个挑战。正是这些困扰让我深刻体会到，拥有一个系统化的学习路径对理解LLM至关重要。因此，我希望通过这门课程，梳理出一个较为清晰的LLM知识体系。

课程面向低年级研究生、高年级本科生以及对大语言模型感兴趣的朋友，内容会尽量简明易懂，以PPT和阅读论文为主，同时我深知纸上得来终觉浅，为此每一章都会安排开源代码阅读或者编程实践。希望通过这门课程，大家能够对LLM有一个初步的了解，无论你是希望将LLM作为工具融入到学习或工作中，还是发表论文，或是单纯对这一前沿技术充满好奇，我都希望这门课程能够为你有所帮助。

• 本课程面向低年级研究生、高年级本科生以及对大语言模型（LLM）感兴趣的朋友
• 必备条件：会编程，能看懂Python代码
• 加分项：有一定的NLP/深度学习/机器学习背景，能看懂PyTorch代码
• 课程的优势：
  • 一门聚焦LLM的中文视频课程，理论知识 + 阅读论文/开源代码 + 配套的编程实践
  • 内容体系【尽量】self-contained
• 由于个人能力的局限性，课程的的不足：
  • 对LLM的理解还不够透彻，对LLM知识体系的梳理还不够完善
  • 不涉及分布式、GPU和LLM System的相关知识
  • 内容可能存在错误
• 本课程不提供：
  • 如何注册ChatGPT/Claude等内容
• 期望：
  • 尽快完成课程制作
  • 明年更新第二版
• 【待补充】其他事项