本书共12章，围绕大语言模型基础理论、预训练、指令理解、模型增强和模型应用五个部分展开：第一部分介绍大语言模型的基础理论；第二部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第三部分介绍大语言模型如何理解并服从人类指令，包括有监督微调和强化学习；第四部分介绍大语言模型增强技术，包括多模态语言模型、大模型智能体和检索增强生成；第五部分介绍大模型应用，包括大模型效率优化、模型评估和应用开发。
适读人群 ：AI从业者、高年级本科生和研究生、对大模型感兴趣的读者
复旦NLP团队2025年新作
新增内容超过50%
详解MOE、多模态、智能体、RAG、大模型效率优化、预训练、指令微调、强化学习、对齐、评估、应用开发
深入探讨LLM的实际应用场景和评价方法，为读者提供理论指导与实践经验
构建LLM的每个阶段都有算法、数据来源、代码、难点及实践经验的详细讨论
配代码
本书封底含有wispaper.ai科研助手智能体（预计2025年6月上线）邀请码，凭邀请码可免费使用。
本书共分为12章，围绕大语言模型基础理论、预训练、指令理解、大模型增强和大模型应用五个部分展开：第1部分介绍大语言模型的基础理论；第2部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第3部分介绍大语言模型如何理解并服从人类指令，包括指令微调和强化学习；第4部分介绍大语言模型增强技术，包括多模态大语言模型、大模型智能体和检索增强生成；第5部分介绍大模型应用，包括大语言模型效率优化、大语言模型评估和大语言模型应用开发。
第2章介绍大语言模型的基础理论知识，包括语言模型的定义、Transformer结构、大语言模型框架等内容，并以LLaMA使用的模型结构为例介绍代码实例。
第3章和第4章围绕大语言模型预训练阶段的主要研究内容展开介绍，包括模型分布式训练中需要掌握的数据并行、流水线并行、张量并行及ZeRO系列优化方法。除此之外，还将介绍预训练需要使用的数据分布和数据预处理方法，并以DeepSpeed为例介绍如何进行大语言模型预训练。
第5章和第6章聚焦于大语言模型指令理解阶段的核心研究内容，探讨如何通过指令微调和强化学习方法，使模型能够理解指令并生成类人回答。第5章重点介绍模型微调技术、指令微调数据的构造策略以及高效微调方法，如LoRA、Delta Tuning等方法，第6章则围绕强化学习展开，讲解其基础理论与近端策略优化（PPO）技术，并结合实际案例，以DeepSpeed-Chat和verl框架为例，详细说明如何训练类ChatGPT系统。
第7章、第8章和第9章围绕提升大语言模型的能力展开详细探讨，内容涵盖多模态大语言模型、大模型智能体和检索增强生成。第7章重点介绍多模态大语言模型的基础理论、架构设计与训练策略，并探讨其在实际场景中的应用实践；第8章聚焦于智能体的发展历程与大语言模型智能体的架构设计，深入分析智能体的实现原理，并以LangChain为例详细阐述具体实践；第9章则围绕检索增强生成展开讨论，介绍其核心思想与实现方式，涵盖检索增强框架的设计、检索模块与生成模块的协作机制，以及其在具体任务场景中的应用方法与实践。
第10章、第11章和第12章主要围绕如何应用大语言模型展开讨论，内容涵盖提升模型效率的方法、大语言模型评估，以及大语言模型典型应用的开发与部署。第10章重点介绍模型压缩与优化、训练效率优化和推理效率优化等提升模型效率的关键技术；第11章聚焦于大语言模型评估，探讨其基本概念和难点，阐述评估体系的构建、评估方法的设计及实际评估的实施；第12章则基于典型的大语言模型应用场景，详细介绍其开发流程、开发工具及本地部署的实践方法。
张奇
复旦大学计算机科学技术学院教授、博士生导师。兼任上海市智能信息处理实验室副主任，中国中文信息学会理事、CCF大模型论坛常务委员、CIPS信息检索专委会常务委员、CIPS大模型专委会委员。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际和国内会议的程序委员会主席、领域主席、讲习班主席等职务。近年来，承担了国家重点研发计划课题、国家自然科学基金、上海市科委等的多个项目，在国际重要学术期刊和会议上发表论文200余篇。获得WSDM 2014最佳论文提名奖、COLING 2018 领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市晨光计划人才计划、复旦大学卓越2025人才培育计划等支持，获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、IBM Faculty Award等奖项。
桂韬
复旦大学副研究员。研究领域为预训练模型、类人对齐和智能体交互。在国际重要学术期刊和会议上发表论文50余篇，主持国家自然科学基金、计算机学会和人工智能学会的多个人才项目。获得钱伟长中文信息处理科学技术一等奖、NeurIPS 2023大模型对齐 Track最佳论文奖，入选第七届中国科协青年人才托举工程、上海市启明星计划。
郑锐
博士毕业于复旦大学计算机科学技术学院，师从张奇教授。曾任字节跳动豆包大模型团队算法工程师，现就职于某前沿科技公司，研究方向为大模型对齐、复杂推理能力提升。获得NeurIPS Workshop on Instruction Following 2024最佳论文奖。MOSS-RLHF开源项目负责人，开源了RLHF代码库及技术文档，推动大模型对齐技术发展。在ICLR、ICML、NeurIPS、ACL等国际会议上发表多篇论文。
黄萱菁
复旦大学特聘教授、博士生导师。主要从事人工智能、自然语言处理和大语言模型研究。兼任中国计算机学会理事、自然语言处理专委会主任、中国中文信息学会理事、计算语言学学会亚太分会主席。在国际重要学术期刊和会议上发表论文200余篇，获优秀论文奖8项。获得钱伟长中文信息处理科学技术一等奖、上海市育才奖，以及人工智能全球女性学者、福布斯中国科技女性等多项荣誉。
书单推荐
