新書推薦:

《
卓越创新:打造世界一流企业创新管理案例精选(2025年)
》
售價:NT$
505

《
谁杀了勇者 预言之章 驮犬著 toi8绘 前传小说 是谁杀死了勇者轻小说
》
售價:NT$
194

《
芯片、战争与AI变局(当AI开始掌控战争)
》
售價:NT$
347

《
威士忌学
》
售價:NT$
704

《
图说小平 纪念邓小平同志诞辰120周年画传
》
售價:NT$
806

《
变法三千年 : 中国历代改革得失
》
售價:NT$
449

《
你的大脑独一无二
》
售價:NT$
663

《
去塔城:我们的西域之行(拉铁摩尔著作集)
》
售價:NT$
454
|
| 目錄:
|
第一章 Transformer模型架构概览 001 一、Transformer的起源 002 二、Transformer的设计哲学 003 三、Transformer的基本组件 006
第二章 注意力机制 011 一、引言 012 二、注意力机制的基本概念 013 三、自注意力机制的工作原理 014 四、多头注意力机制 017 五、稀疏注意力机制 020 六、注意力机制在Transformer中的应用 023
第三章 位置编码 027 一、初步理解位置编码 028 二、位置编码的工作原理 030 三、位置编码的创新与改进 032
第四章 编码器与解码器 037 一、编码器和解码器概览 038 二、编码器的结构与功能 039 三、解码器的结构与功能 042 四、编码器- 解码器架构的实际应用 047
第五章 残差连接和层标准化 050 一、深层网络的挑战与优化 051 二、残差连接的工作原理与作用 054 三、层标准化的工作原理与作用 056 四、残差连接和层标准化的协同作用 058 五、 残差连接与层标准化在实际应用中的优化与改进 059
第六章 预训练与微调 062 一、引言 063 二、预训练语言模型的概念 065 三、微调的概念 068 四、预训练与微调的实际应用 070 五、模型效率的优化 073 六、未来展望 077
第七章 Transformer 的变体 081 一、为何需要Transformer的变体 082 二、BERT 模型 084 三、GPT 模型 086 四、T5 模型 090 五、 其他重要变体:RoBERTa、ALBERT、XLNet 094
第八章 模型优化与训练技巧 098 一、Transformer模型的训练挑战 099 二、参数初始化 100 三、学习率调度与优化器选择 102 四、正则化策略 105 五、梯度裁剪 107 六、混合精度训练与分布式训练 110 七、数据处理与数据增强 114
第九章 实际应用案例 118 一、Transformer模型如何改变NLP 任务 119 二、 文本分类中的Transformer应用——情感分析 119 三、 序列标注任务中的Transformer应用——命名实体识别 122 四、 序列到序列任务中的Transformer应用——机器翻译 126 五、 文本生成任务中的Transformer应用——自动文本摘要 129
结语: 探索未来语言智能的无限可能 134
|
| 內容試閱:
|
在人工智能和深度学习蓬勃发展的今天,Transformer 模型的诞生无疑是一次里程碑式的突破。从自然语言处理到计算机视觉,Transformer的应用范围已不再局限于单一领域,而是逐渐扩展到多个方向,成了深度学习中不可或缺的工具。作为“AI 大模型技术丛书”的开篇之作,本书希望为读者揭开Transformer 的神秘面纱,带领大家从基础原理到实际应用,循序渐进地深入理解这一模型架构。 自发布以来,Transformer 在各类任务中的表现引人瞩目, 它的成功也催生了诸如BERT、GPT、T5 等一系列基于Transformer 的语言模型, 这些模型在自然语言理解、生成等任务上取得了前所未有的成果。Transformer 不仅掀起了自然语言处理领域的革命, 也成为了计算机视觉、音频处理和生物信息学等领域的核心工具。 Transformer 的设计理念不仅在模型架构上展示了创新的勇气,更在技术与应用之间架起了桥梁,突破了深度学习模型的局限。本书的撰写旨在为读者提供一份详细的参考材料,帮助大家在理解Transformer 基本理论的同时,能够轻松驾驭模型的实际应用。 本书首先带领读者了解Transformer 的历史背景与设计哲学,而后从最基础的注意力机制、编码器和解码器架构到复杂的模型优化、预训练与微调技巧等方面进行介绍。书中的内容以实例和图示为主, 力求简洁明了地呈现Transformer 模型的核心思想。对于希望深入探索的读者,本书还提供了模型的变体、实际应用案例及训练技巧, 使得读者不仅能掌握Transformer 的基础,还能灵活运用于不同的实际任务。 笔者始终认为,深度学习的学习过程是一个不断探索、思考和实践的过程。希望读者通过本书,能对Transformer 模型的独特之处有更深刻的理解。让我们一起走进Transformer 的世界,探索深度学习的无限可能。
著者
|
|