Schedule

• 关于NLP的一些基础知识：NLP简介、了解常见的NLP任务、词向量(word2vec)、预训练模型(ELMo、BERT)发展历程
• 回顾NLP中语言模型任务的发展历史：N-gram LM、FFN LM、RNN LM、GPT
• 理解向量(Embedding)的重要性，代码链接：
  • 词向量可视化
  • 调用SiliconFlow Embedding API 计算句子向量的余弦相似度
  • 基于transformers BERT fine-tuning的中文文本分类
  • 基于arXiv论文数据 + SiliconFlow API + faiss + streamlit 构建论文搜索引擎demo
• 一点数学计算：
  • 斯坦福CS224N 作业2中Understanding word2vec
  • 普林斯顿 COS 484 作业1中LM和ppl理解

• 回顾机器翻译任务的发展历史：统计机器翻译(SMT)、Encoder-Decoder结构、注意力(Attention)机制、BPE算法
• Transformer模型
• 编程实践(代码链接)：
  • RNN Encoder-Decoder with Attention
  • The Annotated Transformer
  • 训练基于Transformer的中英翻译模型
  • 非代码：斯坦福CS224N 作业4 Attention和Position Embeddings分析

• GPT-1 && GPT-2
  • NLP中的预训练-微调范式: CoVe、ELMo、ULMFiT、GPT-1、BERT、GPT-2
  • GPT-1 && GPT-2: Pre-traring LM + Large scale ==> zero-shot
  • 编程实践：阅读GPT-1/GPT-2代码；训练124M GPT-2
• Train-time Compute Scaling Laws
  • 解析(Train-time Compute) Scaling Laws for LM, Empirically
  • 计算 GPT模型参数和FLOPs
  • Kaplan Scaling Laws && Chinchilla Scaling Laws
  • 编程实践：Scaling Laws for MNIST
• GPT-3 and Beyond
  • 涌现、幻觉、位置编码、合成数据、提示工程、SLMs …

• instruction tuning
• RLHF
• DPO
• 代码实践：unsloth、llama-factory

• Mixed Precision Training
• Lora
• qlora

• Inference Scaling Laws
• verifier
• ORM/PRM/MCTS/DPO/RL

• 原生多模态模型
• 扩展现有LLM模型
• LLaVA
• GraphGPT

• RAG, GraphRAG

• 代码实践：

  • LightRAG

参考 Shunyu Yao的博士论文、CS294/194-196 Large Language Model Agents和相关的Tutorials

Hippo, S4, Mamba, RWKV

MoE/Mamba reasoning