多种传感技术的相互融合
想要实现自动驾驶，关键在于如何将人类的行为特征赋予车辆，但这是件相当困难的事情——因为人类是最为复杂的生物，不仅能看、听、感觉，还会根据感官信息在纳秒内做出行为预判。另外，人类的专注力极易受到干扰且无法长时间保持，想要通过机器来模拟人类的感知和行为能力绝非易事。
业界早就达成一个共识——可以通过将摄像头、雷达、激光和声纳探测器集成的方式来模拟人类的感知能力，但绝不可能仅通过单一类型的传感器实现这一目的。“一定要采用两种或两种以上的传感器技术，因为每种传感器都有其优势和自身局限，”丰田汽车（欧洲）公司安全研究与技术事务部高级经理Tjark Kreuzinger解释道，“比如，覆盖角度比较广的传感器通常只适合于短距离观测，而适用于长距探测的传感器通常覆盖角度都小于20°。不同的传感器善于侦测的对象也不尽相同。譬如，一辆以40km/h的速度行驶的电动自行车和一辆以20km/h的速度行驶的汽车同时出现，摄像头可能只会捕捉到电动自行车，这是因为长距离传感器的视野通常不够宽广。”
摄像头用途广泛，可谓是传感器家族中的“全能型选手”，这是因为只要信号处理器的能力足够强，它们就能侦测到几乎所有的物体。但是，在光线比较暗的情况下，比如恶劣天气，自动驾驶就不能仅仅依靠摄像头来实现了。此时，雷达将会发挥优势：它不受光源、温度、天气状况的限制。然而雷达设备也有“软肋”，如果设备体积较大，侧面的探测结果不够精准，识别物体的能力不足。而其他的传感器方案，如激光雷达等也都有自身的局限性。
摄像头不再受光源限制
福特汽车公司宣称，通过使用一种复杂的计算图谱，他们已经攻克了摄像头受光源限制的难题。“当我们把防撞辅助系统（Pre-Collision Assist）引入到蒙迪欧（Mondeo）车型中时，这套系统只能在白天起作用，在光线不足的情况下会失效，”福特自动驾驶欧洲事业部经理Thomas Lukaszewicz解释道，“在2017版的嘉年华（Fiesta）车型中，我们全面升级了摄像头系统，使其分辨率和信号处理算法都得到增强，它能够平行处理不同的图像信号。因此，即使在夜晚，防撞辅助系统也能发挥作用。”
福特于2014年推出了Pre-Collision Assist预防碰撞辅助系统。
福特研究了如何利用激光雷达和3D地图，使自动驾驶汽车可以在没有前灯的情况下行驶。
传感器的迭代速度加快
现阶段，高级摄像头的VGA视频输出分辨率已经从640x480像素提升到了1,920x1,080像素，其图像的清晰度也有了质的飞跃——可视距离从50-60m增大到100m，这意味着，即便是识别沾染尘土的路标也不再是问题。但是，摄像头成像依然受到光线条件的限制，因此必须和其他传感器配合使用。
目前，自动泊车用超声波传感器的探测距离从2-3m提高到了5-6m，短距盲区距离从原来的20-30cm下降到15cm。同样地，雷达的长距探测距离一般在150-200m，而最新一代产品的最大探测距离已经达到250m。几年前，雷达的短距盲区还在1m的范围，现在已经缩小到20-30cm。
“在福特，我们不但会自己生产车用摄像头设备，还会与相关供应商展开合作，共同研发新一代的摄像头产品，并不断刷新产品的各项性能指标，包括图像分辨率、视场、探测距离、对光照条件的敏感性等。”Thomas Lukaszewicz说道。
于2011年推出的低速行车安全系统（Active City Stop）中，福特加入了自动紧急刹车功能（AEB），该功能是通过激光雷达技术来实现的。基于单束激光侦测技术，自动紧急刹车功能可在时速降至15km/h以下时启动，可以有效预防在时速低于30km/h时发生的碰撞事故。如今，福特激光雷达的探测距离又有所扩展，现在即使时速到达50km/h，系统也能提前侦测到障碍物，及时启动制动装置，避免事故的发生。
集成多种传感器技术，沃尔沃开发了City Safety VRU安全探测系统和Pilot Assist
软件的关键作用
想要让传感设备的功能发挥到最佳水平，信号处理软件的发展是关键要素之一。据Jonas Ambeck-Madsen表示，丰田正在开发的自动驾驶汽车上总共配置了7个摄像头——3个前置、两侧各1个、2个后置。它们都是标准的1-2MP车用摄像头，由两个通用的Nvidia图形处理器（GPU）来驱动。更加昂贵的CPU将用于并行进程的处理，工程设计人员还在探索如何使用通用标准软件来进一步简化工作、降低成本。
丰田研发的自动驾驶汽车中配有7个摄像头。
这些摄像头所采集的图像信号会以逐个像素为单位进行拆解。Jonas Ambeck-Madsen及其团队需要做的是，创建出相应的软件模型，对每个像素进行追踪，以3D形式再现图像的纹理、色彩和距离，通过编程处理划分出不同类型的图层，最终识别出摄像头究竟看到了什么。通过这样的图像处理方法，可以探测到车辆周围的行人、其他车辆等信息。当需要转向时，这些数据还能够提示车辆最安全的路径。
如何将深度学习和自动驾驶结合在一起？
毫无疑问，人工智能技术（AI）可以使汽车获得更多样、更敏锐的感知力。尤其是深度学习技术的出现，让机器第一次拥有了一定的“独立思考”能力，而这种“独立思考”的能力恰恰是自动驾驶所迫切需要的。丰田自动驾驶汽车欧洲研发中心（TRACE）曾经做过这样的测试，并根据测试结果建立了一个数据模型，应用这一模型计算机可以预测出同一视频中的认知热点。“我们对所有数据进行了绝对排序，之后结合深度学习技术，创建出一个拥有4,000多个独立变量特征的数据模型，只有AI才能处理这样的模型，”Jonas Ambeck-Madsen说道，“要知道，人类是无法识别4,000个变量特征的，但是深度学习技术可以实现。”
比利时鲁汶大学计算机视觉教授，同时也是TRACE成员之一的Luc Van Gool表示，自动驾驶汽车永远都不可能达到完美的零失误水平，“让汽车拥有和人类一样的感知力和认知力本身就极具挑战性。当然，可以用丰富的驾驶经验来武装自动驾驶系统。或者，可以让深度学习技术发挥更多的作用，并在此基础上制定规则。但根据以往的经验，这种方法在现实中并不能做到万无一失。”
为了让传感器在各种环境下都具有最佳的性能表现，研究人员也开始在其它物种身上寻找灵感，如蜜蜂、鱼类、山羊等。“我们可能会把摄像头看作是人类视觉的最佳替代品，但是有些动物拥有与人类不同的视觉能力，”Luc Van Gool说道，“我们需要从多种类型的‘眼睛’中找到最适合用于汽车传感器的技术。我相信，最终自动驾驶汽车上将集成多种类型的传感器，并很有可能拥有超越人类的感知力。”
下一步：聚焦行为预测能力
据悉，Ambeck-Madsen及其团队将在未来一至两年内，开展自动驾驶汽车的实际道路测试工作。“样车必须经过实际道路测试的检验，目前它还只出现在视频短片中，而不是实际交通场景中，”Jonas Ambeck-Madsen说道，“我们还在讨论如何让自动驾驶技术更进一步提升，包括注意力持续的时长，影响驾驶员精神状态的各种因素，以及我们的感受和反应。总之，我们要让汽车拥有与人类相似的逻辑思维能力。”
丰田研究学院（TRI）首席执行官Gill Pratt博士表示，绝大多数关于让汽车获得认知力的工作，都已经在丰田欧洲通过深度学习技术完成了。“下一步的重点是关注行为预测能力。假设有一个球滚到公路上，下一幕会发生什么呢？有孩子会追逐这个球吗？最难的不是物理作用的理解，而是人类思维和行为的模拟预测。事实证明，让汽车拥有认知力很难，但是让汽车预测人类行为更难！这是因为每个人都是不同的个体。要预测其行为，不仅要做大量的数据调研工作，还必须明白它具有变幻不定的特性。”Gill Pratt博士解释说道。
由丰田自主研发的自动驾驶汽车，马上就要进入实际道路测试阶段了。
为了深入理解驾驶员的行为，TRACE团队在全球范围内开展了调研测试工作。“我们需要对其他驾驶员的行为做出预判，”Jonas Ambeck-Madsen说道，“如何才能做到这一点呢？我们要将行驶环境状况作深入分析。车辆在自身车道上行驶时，都会和其它车辆保持一定的安全距离。我们收集了大量的关于安全车距和超车行为的案例，并以此作为信息输入，找到了驾驶员是否决定超车的关键因素。我们用不同的传感器配置，在不同的地区，对自动驾驶系统进行了测试。总之，数据采集得越多，系统的预测性能就越好。目前，我们的驾驶系统的最佳测试记录为1.6秒，准确率达到80%。”
