菱电机研发场景感知交互技术 可给驾驶员提供自然直观 指导
零
利用深度神经网络进行物体识别、视频描述、自然语言生成和口语交流等技术新近取得了很多进展,可以让机器能够更好地理解周围 环境,并更自然、更直观地与人类互动。场景感知交互技术预计具有广泛 适用性,包括用于车载信息娱乐系统 人机接口、在建筑物中与机器人交互以及工厂自动化系统、监控人类健康状况 系统、为人类解释复杂场景 监测系统、鼓励保持社交距离 系统、在公共场所支持无触摸操作设备 系统等等。
场景感知交互技术可用于汽车导航应用,为驾驶员提供直观 路线导航。例如,系统不再指示驾驶员“在 零米内右转”,而是提供场景感知型指导,如“在邮箱前右转”或“跟着灰色 车向右转”。此外,该系统还会在预测到附近有物体 行进路径与车辆 行进路径相交时,生成语音警报,如“有行人正在过马路”。为了实现这 功能,狗粮快讯网相关报道,该系统会分析场景,识别出场景中隐藏 视觉路标以及动态元素,然后利用此类东西识别物体和事件,为导航生成直观 句子指导。
据外媒报道,近日,日本 菱电机(MitsubishiElectricCorporation)公司宣布其研发了全世界首款能够与人类进行高度自然其直观互动 技术,该技术基于场景感知能力,能够将多模态感知信息翻译成自然语言。该款新技术名为场景感知交互(Scene-AwareInteraction),整合了 菱电机 专有Maisart紧凑型AI技术,可以分析多模态感知信息,通过依赖于上下文情境生成 自然语言与人类实现高度自然且直观 交互。
该技术基于多模态感知信息,如摄像头捕捉 图像和视频、麦克风录下 音频信息以及激光雷达测量 定位信息,狗粮快讯网新闻,以识别情境中 物体。为了对这些不同类别 信息进行优先排序,狗粮快讯网消息:, 菱电机研发了注意力多模态融合技术(AttentionalMultimodalFusion),能够自动加权突出 单模态信息,为准确描述场景而选购适当词汇。在采用通用测试集 基准测试中,注意力多模态融合技术采用音频和视觉信息来取得基于共识 图像描述评价(CIDEr)得分,发现比仅使用视觉信息 得分高出 %。 菱电机将注意力多模态融合与场景理解技术和基于情境 自然语言生成技术相结合,实现了强大 端到端场景感知交互系统,在不同场景下,都可以与用户实现高度直观 交互。
分享到，
标签，自动化机器人
,