通过手势识别与车辆控制交互的识别系统
2019-11-22

通过手势识别与车辆控制交互的识别系统

本发明是通过手势识别与车辆控制交互的识别系统。一种基于手势的识别系统,其通过识别和解释车辆乘员的手势获取车辆乘员的期望的命令输入。捕捉车辆内部图像且在捕捉的图像中将乘员的图像从背景中分离。分析分离的图像并且手势识别处理器由图像解释乘员的手势。在执行命令之前,命令执行器将解释的期望的命令及确认信息提供给乘员。当乘员确认时,命令执行器执行解释的命令。进一步地,推理引擎处理器评估乘员的专注状态,如果乘员注意力不集中,其将信号传送至驾驶辅助系统。如果任何潜在的威胁得到确认,驾驶辅助系统向注意力不集中的乘员提供警报信号。进一步地,识别驾驶员后,驾驶员识别系统模块将一组车辆的个性化功能重新调整为预先存储的设置。

在一个实施例中,提供基于手势的识别系统以解释车辆乘员的手势及获取乘员期望的命令输入。系统包括捕捉车辆内部图像的装置。该图像可以是二维图像或对应于车辆内部的三维深度地图。手势识别处理器将乘员的图像从捕捉的图像中的背景分离出来,分析图像,从分离的图像解释乘员的手势并生成输出。命令执行器从手势识别处理器接收输出并生成解释命令。该执行器进一步生成对应于解释命令的确认信息,将确认信息传送至乘员及当从乘员接收到确认时执行命令。系统进一步包括与一组传感器相连接的推理引擎处理器。推理引擎处理器评估乘员的专注状态并从传感器接收对应于任何潜在威胁的信号。驾驶辅助系统与推理引擎处理器相连接并从其接收信号。当推理引擎在特定时间检测到任意潜在的威胁时,驾驶辅助系统基于乘员的专注度向乘员提供警报信号。

如图3(a)所示,使用存储在数据库122中相应的图像,处理器120解释的另一个手势是滚动/浏览/平移功能。为了实现这项功能,乘员不得不将食指和中指压在一起,且朝左、右、上、下横扫。当通过处理器120解释时,其中的任意一个动作都会导致屏幕在相应方向上的滚动。此外,当在空中做手势时,移动速度与显示屏上实际的滚动速度相关联。具体地,手指快速横扫导致快速滚动通过显示屏,反之亦然。此手势的应用可以包括,但不限于,使显示的地图滚动、浏览唱片中的歌曲列表、浏览收音机系统的频率、或者使显示在屏幕上的任意菜单滚动。

本发明涉及车辆中的驾驶员与机器的界面,具体说,涉及这样的界面:其允许驾驶员以非物理接触方式与机器交互。

本发明涉及车辆中的驾驶员与机器的界面,具体说,涉及这样的界面:其允许驾驶员以非物理接触方式与机器交互。

图4(a)中所示的图像是对应于“点击和拖拽”选项的手势。为了实现它,乘员需要在空中将食指虚拟指向选项,类似于实际推按钮/图标,然后沿期望方向移动手指。解释了这个手势后,将会导致沿那个方向拖拽条目。在很多情况下这个功能是有用的,包括对显示的地图的滚动控制、通过将特定条目向上或向下拖拽重新排列显示的条目列表。 图4(b)中的手势对应于“浏览”功能。乘员需要伸出食指然后快速地向上移动它。解释了这个手势后,实现这个功能导致从显示在触摸屏的子菜单返回主菜单。作为一种可选方式,其也可用于在屏幕上的主菜单内导航。 其他类似可解释的和最终可解释的手势及它们在数据库122中对应的图像,虽然没有在本发明的附图说明中示出,但也包括那些对应于汽车天窗打开/关闭功能。为了实现这个功能,乘员需要通过摆出一个佯装握住靠近汽车天窗前部的线绳的手势、然后将其向后拉或向前拉来提供输入。持续捕捉乘员的图像提供了更好地实现基于手势的解释,且当乘员的手停止移动时,此时停止打开/关闭汽车天窗。进一步地,向后或向前猛拉会引起汽车天窗的完全打开/关闭。另一个手势引起向上推汽车天窗使其远离乘员。乘员需要将手靠近汽车天窗,使其手掌朝向汽车天窗,然后进一步地向上轻推。为了关闭通风的汽车天窗,乘员需要使他的手靠近汽车天窗,假装握住线绳然后将其拉下来。另一个可被手势识别处理器120解释的手势是“滑动手势”(然未在附图中显示)。这个手势用于在头顶显示器(HUD)、车辆的仪表板及中控面板之间移动显示的内容。为了实现这个手势的功能,乘员需要将食指指向期望被移动的内容,并在期望的方向上移动食指,类似于“滑动动作”。例如,将食指从头顶显示器移动朝向至中控面板,就将指定内容从HUD移动至中控面板。 处理器120包括推理引擎处理器124(以下都称为“处理器124”)。处理器124使用由装置Iio捕捉的图像、来自车辆内部传感器112及外部传感器114的输入,以识别驾驶员的专注状态。这包括识别多种驾驶员被发现为注意力不集中的状态的情况,比如昏昏欲睡状态或倦怠状态,或者是与后排座椅/边侧的乘员对话。在这种情况下,如果有被碰撞检测系统160识别的潜在威胁,例如,有车辆快速地接近乘员的车辆且形成碰撞威胁,检测系统160将潜在威胁信号传送给处理器124。处理器124将驾驶员的注意力不集中的状态传送给驾驶辅助系统150。驾驶辅助系统150向驾驶员/乘员提供警报信号。这种警报信号通过与乘员语言交流传送,或者嘟嘟声传送。作为一种可选方式,可以使用显示在用户界面的详细信息在用户界面上呈现警报信号。警报信号传送至乘员的准确时间将会依赖于乘员的专注度。具体说,对于昏昏欲睡或倦怠的驾驶员,信号会立即传送且远早于将警报信号提供给专注的驾驶员。如果车辆外部传感器114识别前方的急转弯、突然的减速带或类似情况,当检测到乘员坐着没系安全带时,则驾驶辅助系统150会向乘员发出系紧安全带的信号。 处理器120进一步包括驾驶员识别模块126,其配置用于识别驾驶员的图像。具体说,驾驶员识别126模块配置用于识别汽车车主的图像,或频繁驾驶汽车的人的图像。在一个实施例中,驾驶员识别模块126使用脸部识别系统,其具有一组预先存储在脸部数据库中的图像,对应于车主或频繁驾驶汽车的人。每次当车主再次驾驶汽车时,驾驶员识别模块从装置110获取捕获的车辆内部的图像,并将乘员的图像与脸部数据库中的图像相匹配。本领域技术人员应当了解,驾驶员识别系统126从捕捉的乘员图像提取特征或标志,并将它们与脸部数据库中的图像相匹配。驾驶员识别系统模块可使用本领域技术员人员公知的任意适合的识别算法,用于识别驾驶员,包括使用弹性串图形匹配(Elasticbunchgraphmatching)的费歇尔脸部算法(Fisherfacealgorithm),线性分辨分析(Lineardiscriminateanalysis)及动态链接匹配(Dynamiclinkmatching)等。

本发明涉及车辆中的驾驶员与机器的界面,具体说,涉及这样的界面:其允许驾驶员以非物理接触方式与机器交互。

现有技术中已有用于乘员与车辆之间交互的系统。一个例子就是“SYNC”系统,其提供驾驶员与车辆之间的便捷交互,包括免提通话、通过语音命令管理音乐控制及其他功能、使用方向盘上的一键通按钮、以及需要时接入互联网等多个选项。此外,很多车辆在适当的位置装有人机界面。这包括方向盘上的开关,车辆中控面板上的旋钮,触摸屏界面及触控板。