新書推薦:
《
芙洛拉·莫尔:一部外星故事集(德国科幻小说鼻祖异星故事集)
》
售價:NT$
305.0
《
耕读史
》
售價:NT$
500.0
《
仿生人会梦见电子羊吗?
》
售價:NT$
305.0
《
地理计算与R语言
》
售價:NT$
551.0
《
沈括的知识世界:一种闻见主义的实践(中华学术译丛)
》
售價:NT$
398.0
《
大思维:哥伦比亚商学院六步创新思维模型
》
售價:NT$
332.0
《
宏观经济学(第三版)【2024诺贝尔经济学奖获奖者作品】
》
售價:NT$
709.0
《
UE5虚幻引擎必修课(视频教学版)
》
售價:NT$
505.0
|
編輯推薦: |
1.从发展历史、技术细节、感知算法到开发实践 全面介绍智能驾驶技术干货
2.国内智能驾驶领先企业地平线开发团队参与撰写 内容贴近产业研发一线
3.编写团队深入调研了国内智能汽车产学研从业人员的知识需求 力求解决读者痛点
4.全书配套视频课程及代码全部免费开源
|
內容簡介: |
机器视觉作为智能驾驶核心技术,承载了各类路面元素的感知功能,是智能汽车规控(路径规划与车辆控制)的核心信息来源。而在智能驾驶的研发过程中,视觉(包含雷达)感知的精度与效率是智能驾驶落地及量产的控制性工程,直接决定了智能驾驶汽车的安全性与用户体验,其重要程度不言而喻。本书涵盖了面向智能驾驶的机器视觉关键技术,包括标定、数据、场景、任务、算法、优化等量产一线的全栈知识。除摄像头外,其他传感器及感知技术也有涉及,包括激光雷达、毫米波雷达以及超声波传感器。在此基础上,本书还介绍了各类感知融合技术。为了让读者更加系统性地学习上述感知技术,本书介绍了智能驾驶的关键硬件基础、关键算法基础,以及关键数据基础。最后,本书还涵盖了智能驾驶目标发展现状及趋势,对于企业及高校从事智驾研发人员来说,可以作为很好的借鉴及选题参考。
本书主要面向高校计算机学院、汽车学院,以及车企等与智能驾驶相关的研究人员、开发人员以及学生等。本书既可以用于智能驾驶的入门级教材,也可用于智能驾驶开发的参考工具书。
|
關於作者: |
杨聪,2010年毕业于东北师范大学软件工程专业,后进入中科院深圳先进技术研究院联合培养研究生,方向为机器学习及云计算。2012年提前一年硕士毕业,同时获得留学基金委资助,公派前往德国锡根大学(University of Siegen)攻读博士学位,师从Marcin Grzegorzek教授,研究方向为计算机视觉。2016年博士毕业,随后在法国国家信息与自动化研究所(INRIA)进行博士后研究,师从Marie-Odile Berger教授,方向集中于计算机视觉并涉及多个学科的交叉。2017年末回国,担任扩博智能(Clobotics)算法团队负责人。2019年加入地平线机器人,担任南京人工智能高等研究院高级研究员、图像算法团队负责人等职位。杨聪博士先后在TVCG, ECCV, PR等国内外知名期刊或会议发表学术论文近40篇,专利二十多个。杨聪博士带领座舱算法团队深度参与了地平线征程2芯片在长安UNI-T的落地与量产。
|
目錄:
|
前言
第1章 智能驾驶概述
1.1 智能驾驶简介
1.2 智能驾驶分类
1.3 智能驾驶现状
1.3.1 乘用车
1.3.2 货车
1.3.3 出租车
1.3.4 无人小车
1.3.5 公交车
1.3.6 类汽车智能驾
1.4 智能驾驶与机器视觉
1.4.1 视觉感知
1.4.2 视觉定位
练习题
第2章 智能驾驶场景
2.1 高速场景
2.2 城区场景
2.3 泊车场景
2.4 园区场景
2.5 其他场景
2.5.1 地外场景
2.5.2 农用场景
2.5.3 室内场景
练习题
第3章 关键硬件基础
3.1 整体架构
3.2 视觉传感器
3.2.1 摄像头类型
3.2.2 摄像头布局
3.2.3 摄像头标定
3.3 其他传感器
3.3.1 激光雷达
3.3.2 毫米波雷达
3.3.3 超声波传感器
3.4 计算平台
3.4.1 芯片制造
3.4.2 AI芯片
3.4.3 片上系统(SoC)
3.4.4 域控制器(DCU)
3.4.5 计算平台示例
练习题
第4章 关键算法基础
4.1 深度学习
4.1.1 卷积神经网络
4.1.2 卷积层
4.1.3 激活函数
4.1.4 池化层
4.1.5 全连接层
4.1.6 批量归一化层
4.1.7 损失函数
4.1.8 模型训练
4.1.9 模型压缩
4.2 视觉感知
4.2.1 分类
4.2.2 检测
4.2.3 分割
4.2.4 深度估计
4.2.5 高程估计
4.2.6 关键点
4.2.7 OCR
4.2.8 其他
4.3 视觉定位
4.3.1 特征提取
4.3.2 特征匹配
4.3.3 光流跟踪
4.3.4 非线性优化
4.3.5 多传感器融合
4.4 框架与工具链
4.4.1 算法框架
4.4.2 算法工具链
练习题
第5章 关键数据基础
5.1 数据采集
5.1.1 采集平台
5.1.2 采集规范
5.1.3 数据挖掘
5.1.4 常用公开数据集
5.2 数据标注
5.2.1 标注平台
5.2.2 2D标注
5.2.3 2.5D 标注
5.2.4 4D标注
5.2.5 数据标注文档
5.2.6 标注体系建设
5.3 数据仿真
5.3.1 数据仿真技术
5.3.2 业界案例介绍
5.4 数据闭环
5.4.1 数据闭环技术
5.4.2 业界案例介绍
练习题
第6章 视觉感知任务
6.1 场景识别
6.2 静态感知
6.2.1 角点检测
6.2.2 路面坑洞检测
6.2.3 道路边沿检测
6.2.4 灯牌检测
6.2.5 可行驶区域检测
6.2.6 竖杆检测
6.2.7 减速带检测
6.2.8 施工区域检测
6.2.9 停车位检测
6.2.10 光源检测
6.3 动态感知
6.4 地面标识感知
6.4.1 地面标识
6.4.2 停止线/斑马线检测
6.4.3 车道线检测
6.5 通用检测
6.5.1 一般障碍物检测
6.5.2 通用物体感知
6.5.3 高程
6.6 预测与规划
6.6.1 轨迹预测
6.6.2 轨迹规划
练习题
第7章 视觉感知算法
7.1 目标分类
7.2 目标检测
7.3 深度估计
7.4 语义分割
7.5 车道线
7.6 BEV感知
7.7 占用网络
7.8 高程网络
7.9 雷达感知
7.10 轨迹预测
7.11 视觉多任务
练习题
第8章 视觉建图与定位
8.1 视觉建图
8.1.1 高精建图
8.1.2 众包建图
8.1.3 重感知轻地图
8.2 视觉定位
8.2.1 基于地图的定位
8.2.2 轻地图中的定位
8.3 业界案例
8.3.1 行车场景
8.3.2 泊车场景
练习题
第9章 视觉与多传感器融合
9.1 融合感知
9.2 前中后分类
9.2.1 前融合
9.2.2 中融合
9.2.3 后融合
9.3 强弱分类
9.3.1 强融合
9.3.2 弱融合
9.4 其他融合方法
练习题
第10章 未来发展趋势
10.1 市场发展趋势
10.2 技术发展趋势
10.2.1 电子电气架构
10.2.2 计算芯片
10.2.3 算法
10.3 生态发展趋势
练习题
附录 术语与符号列表
参考文献
|
內容試閱:
|
距莱特兄弟(Wright brothers)1903年成功试飞第一架飞机仅过去15年,美国斯佩里公司(Sperry Corporation)于1912年便开发出了自动飞行套件(Autopilot),并在随后的军事与民用航空中快速普及。而自1885年德国人卡尔·本茨(Carl Benz)研制成功世界上第一辆汽车以来,真正意义上的自动驾驶直到近几年才逐步走进我们的生活,且尚未实现大规模普及。这是因为驾驶环境复杂度远超飞行环境,在环境感知与控制上也与飞行器有很大不同。事实上,自20世纪20年代汽车开始大规模普及,人类对于自动驾驶的探索就已开始(图 1):1925年8月,世界首辆无人驾驶汽车出现在纽约街头,通过无线电操作;1960—1970年,美国俄亥俄州立大学首次实现了基于道路预埋设备的自动导航,日本筑波工程研究实验室开发了基于摄像头检测导航的自动驾驶汽车;1980—1990年,美国斯坦福大学等机构利用激光雷达(LiDAR)和机器视觉(Machine Vision)第一次实现了机器人自主控制下的自动驾驶,并在无人车上首次使用了便携式计算设备,卡内基梅隆大学率先使用神经网络来引导控制自动驾驶汽车,由此发展形成了现代控制策略的基础。
进入21世纪,随着计算机性能不断提升及人工智能(Artificial Intelligence,AI)快速发展,自动驾驶技术不断突破并开始商业化。谷歌(Google)公司于2010年推出了第一个自动驾驶汽车原型,这标志着自动驾驶技术进入了一个崭新的时代。随后,特斯拉(Tesla)公司推出了自己的自动驾驶系统,并于2016年10月实现了完全自动驾驶(Full Self-Driving,FSD)套件商业化升级,成为自动驾驶技术的领跑者之一。目前,自动驾驶融合了智能感知、决策、控制、定位、通信安全、人机交互、高精地图、5G及V2X等关键技术,是典型的复杂系统,技术门槛高,开发难度大。相较于自动驾驶,智能驾驶的概念更为宽泛,指机器帮助人进行驾驶,以及在特殊情况下完全取代人驾驶的技术。因此,智能驾驶不但涵盖传统意义上的自动驾驶,而且包含智能座舱、智能泊车以及不同级别辅助驾驶等内容,在形态上还包括乘用车、商用车及无人小车等类智能驾驶形态。鉴于上述形态在底层感知与规控原理上接近,本书使用“智能驾驶”这一概念来提升相关内容泛化性与技术覆盖度。
智能驾驶是一个以智能汽车为载体,集硬件、软件、算法、数据、云计算及生命周期管理等不同学科为一体的复杂学科,包含感知、决策、控制执行三大系统。作为智能汽车的“眼睛”与“大脑”,感知系统是实现智能驾驶的前提与基础。为此,智能汽车配有多类传感器,如摄像头、毫米波雷达、激光雷达、超声波传感器,部分车辆还通过V2X技术共享路基信息。在此基础上,通过人工智能技术识别各类路面元素及标识,为决策与控制系统提供输入。在此过程中,大部分感知是通过机器视觉完成的。除了视觉与多传感器融合方案,基于纯视觉的自动驾驶已被特斯拉验证并大力推广,已成为自动驾驶的主流方案之一。在学术界,智能驾驶及智能交通领域顶级期刊及会议如IEEE Transactions on Intelligent Transportation Systems(IEEE TITS)及IEEE International Conference on Robotics and Automation(IEEE ICRA)中大部分感知算法均基于机器视觉。在实际研发中,视觉感知性能还与传感器类型、数据质量以及计算芯片性能息息相关,开发难度大、周期长,需要不同团队配合完成。特别是对于刚进入这个行业的人员来说,不但需要了解智能驾驶感知场景及任务,还要了解视觉算法的类型与开发方法,更要不断进行场景创新来打造差异化竞争,其中难度可想而知。
本书撰写的背景是2021年7月地平线(Horizon Robotics)正式推出征程5全场景整车智能中央计算芯片,是国内首款大算力(超100TOPS)复合ASIL-B功能安全的自动驾驶芯片,代表国产车规级AI芯片的先进水平。围绕国产大算力AI芯片构建开发者生态,降低国产芯片的使用门槛,为国产芯片培养开发与创新人才,是苏州大学-地平线智能驾驶生态创新中心的重要目标之一。为此,我们前往十多个城市密集访问了各类OEM(包括外资)、Tier1、软件服务供应商、算法公司、芯片公司、相关研究院及高校,与他们的工程师、研发人员、设计人员、销售人员、实习生、教师及学生等面对面交流,听取科研教学一线的反馈与诉求。在沟通的过程中,我们发现除了少部分人拥有两年以上智能驾驶系统研发经验外,大部分人员都刚进入该领域,对面向智能驾驶视觉感知方法了解较为分散,且缺乏成体系且贴近量产的培训。他们还普遍反映目前网络上关于智能驾驶与机器视觉的知识比较分散,在深度、结合度与实操方面都比较薄弱,也无相关教材,因此只能在实际工作中依然是摸索着前进,会“踩很多坑”。
地平线拥有多年智能驾驶研发经验,其产品在国内主要车厂的数十个车型上实现了量产。2023年2月,基于地平线征程5的智驾系统——理想AD Pro高速NOA正式推送,实现了行业领先的智驾功能。此外,小马智行、轻舟智航、禾多科技、佑驾创新等生态合作伙伴也相继推出基于征程5的高阶智能驾驶解决方案。基于以上背景,苏州大学与地平线合作,特邀相关专家及参与智能驾驶量产车型的一线工程师为本书作者或审稿人。他们从领域知识与开发经验出发,为本书带来智能驾驶开发与实践的第一手资料,确保读者不但可以掌握体系化的背景知识,还能学到各个开发环节的“干货”。
本书详细介绍了智能驾驶相关知识以及所需视觉感知算法,从而形成面向智能驾驶的机器视觉知识闭环。第1章概述了智能驾驶分类、现状以及与机器视觉的技术关联;第2章详细介绍了智能驾驶不同场景,进而让读者了解视觉感知系统的相关需求。第3章详细介绍了智能驾驶的关键硬件基础,重点集中于视觉传感器布局与相关计算平台;第4章和第5章分别介绍了与视觉感知相关的算法基础与数据基础,解决了很多调研时被问到的诸如“什么是算法,跟深度学习模型有什么关系?”“自动驾驶需要采集什么数据?”“车外摄像头脏了怎么办?”“到底算法是怎么进行检测的?”“为什么AI芯片对智能驾驶这么重要?”等问题。通过前五章,读者对智能驾驶以及机器视觉基础知识有了一定的了解。第6章详细介绍了在量产实践中视觉感知的具体任务及指标要求,并在第7章介绍了相关实现方法。除了感知任务,本书在第8章还介绍了基于机器视觉的建图与定位问题,这也是智能驾驶安全的重要保障;第9章介绍了视觉与多传感器融合方法,进一步提升了视觉感知的准确性与稳定性。最后,本书第10章从领域、技术与生态等方面对智能驾驶发展进行了展望,帮助读者解读未来。另外,为了帮助读者深入理解,每一章正文之后均配有练习题。
在部分文献中,机器视觉又被称为计算机视觉(Computer Vision),本书采用前者便于和智能驾驶文字对称。另外,传统概念中的机器视觉重点关注摄像头传感器数据(图像或视频),而本书将雷达数据作为一种特殊的视觉形态也纳入机器视觉中,便于对智能驾驶感知与决策进行全方位描述。最后,本书使用智能驾驶这一概念来提升内容覆盖面,但在部分具体场景中,依然会使用自动驾驶、智能泊车、智能座舱等概念进行特指。
感谢本书作者团队在每日忙碌的研发工作外为本书所做的贡献,章节具体分工如下:
第1章:杨聪、吴洪状、程智锋、张家馨、隋伟、陈涛。
第2章:杨聪、吴洪状、程诚、陈涛、徐健。
第3章:杨聪、程智锋、陈涛、徐健。
第4章:严阳春、张家馨、许青、高雪婷、秦玉杰、杨金萌、赵亚滨、隋伟、杨聪。
第5章:谢佳锋、隋伟、杨聪。
第6章:高雪婷、许青、于雷、杨金萌、李欣欣、严阳春、赵亚滨、隋伟、杨聪。
第7章:许青、李欣欣、吕纤纤、尹浩然、秦玉杰、高雪婷、严阳春、杨金萌、赵亚滨、杨聪。
第8章:张家馨、隋伟、杨聪。
第9章:陈腾、隋伟、杨聪。
第10章:程智锋、 杨聪、陈涛、徐健。
为了确保本书质量,我们还成立了审稿委员会,具体名单如下:
杨聪、隋伟、赵亚滨、陈涛、程智锋、苏治中、徐鹤(注:因部分委员也为本书作者,这里采用交叉审稿)。
本书在编写过程中,得到了许多专家及相关平台的帮助,包括但不限于:
1)上海交通大学林巍峣(博士,教授,博士生导师)、南京大学卢晶(博士,教授,博士生导师)对本书大纲的指导与推荐。
2)地平线余凯博士(首席科学家)及黄畅博士(CTO)对本书内容的指导与推荐。
3)苏州大学郭树伟、夏晓鹏、于航、蔚晨垚、李浩然、吴婷婷、王致远、李卓承、陈世源、潘俊伟等同学对本书插图的翻译与校准。
4)哈尔滨工业大学栾思敏、张志捷等同学对本书插图的翻译与校准。
另外,在本书写作的过程中,我们还同步举行了在线课堂,以在线讲课与直播的方式将部分实践内容分享给访问过的各类企业。我们对这些课程进行了录像,与授课用的材料、代码一同上传到地平线开发者论坛(https://auto-developer. horizon. cc/)。我们后面会按计划开放这些课程与材料。此外,书中部分图片可能需要放大观察,纸面上无法呈现应用效果。为此,书中图片均可在出版社提供的官方渠道下载。本书也有一些图片摘自公开发表的期刊或会议论文,文中均作了注明。未做说明的图像,或为原创,或来自于网络,恕不一一列举。如有问题,请与我们联系,我们会在第一时间加以修正。
因本书涉及知识点众多,加之编写时间紧迫,错漏在所难免,还请广大读者批评指正,以便本书再版时参考。可通过电子邮件与我联系:yangcong955@126.com
本书配套视频已经在机械工业出版社天工讲堂以及地平线智驾开发者社区同步上线,欢迎各位读者扫描对应的二维码在线观看。
杨聪
2024年4月19日
|
|