論文の概要: Vision-Language Assistant for Emotional Reactions to Risky Driving
- arxiv url: http://arxiv.org/abs/2607.16181v1
- Date: Fri, 17 Jul 2026 17:57:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.929059
- Title: Vision-Language Assistant for Emotional Reactions to Risky Driving
- Title（参考訳）: 危険運転に対する感情反応のための視覚言語アシスタント
- Abstract要約: 本研究では、危険運転行動を検出し、運転者の意識と快適性を支援するために感情表現的な反応を生成するビジョン言語パイプラインを提案する。
Keep Yelling Assistant(KYA)は、突然のカットインなど、ハイリスク運転操作をリアルタイムで検出する。
そして、ドライバーの好みに合わせて、大きな言語モデルを通じて感情的な反応を生成する。
- 参考スコア（独自算出の注目度）: 14.273100106683216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study introduces a vision-language pipeline that detects risky driving behaviors and generates emotionally expressive responses to support driver awareness and comfort. Although vision-language models have advanced perception and reasoning in autonomous driving, existing systems rarely consider the emotional dimension or real-world user experience. Keep Yelling Assistant (KYA) detects high-risk driving maneuvers in real time, such as sudden cut-ins. It then produces emotional responses through a large language model tailored to driver preferences. The framework comprises two core modules. The vision module uses YOLOv8 variants to detect nearby vehicles and identify risky behaviors such as sudden cut-ins. Key driving metrics, including relative distance, speed, and projected reach time, are extracted and normalized to produce a structured behavior log. The language module processes this log with user-defined emotional tone settings, such as neutral, humorous, and analytical, and generates verbal reactions using state-of-the-art large language models, including ChatGPT-4o, Claude 3, Gemini 2.5, and Copilot. We evaluated the proposed system using dashcam videos containing risky driving behaviors and a user study involving 108 participants. Participants selected preferred response styles, and the large language models were evaluated based on emotional alignment. All models received favorable ratings, although preferences varied across personas. Notably, the combination of YOLOv8s and ChatGPT-4o achieved the highest score of 4.29 out of 5.00. By integrating real-world perception with emotionally adaptive dialogue, KYA introduces a new paradigm for emotionally intelligent in-vehicle artificial intelligence. It offers promising directions for improving safety, trust, and emotional well-being in both conventional and autonomous vehicles.
- Abstract（参考訳）: 本研究では、危険運転行動を検出し、運転者の意識と快適性を支援するために感情表現的な反応を生成するビジョン言語パイプラインを提案する。
視覚言語モデルは自律運転において高度な認識と推論を持つが、既存のシステムは感情的な次元や現実世界のユーザー体験をほとんど考慮していない。
Keep Yelling Assistant(KYA)は、突然のカットインなど、ハイリスク運転操作をリアルタイムで検出する。
そして、ドライバーの好みに合わせて、大きな言語モデルを通じて感情的な反応を生成する。
フレームワークは2つのコアモジュールから構成される。
ビジョンモジュールはYOLOv8の変種を使用して、近くの車両を検出し、突然のカットインのような危険な行動を識別する。
相対距離、速度、射影到達時間などの主要な駆動指標を抽出し、正規化して構造化された挙動ログを生成する。
言語モジュールはこのログをニュートラル、ユーモラス、分析といったユーザ定義の感情的なトーン設定で処理し、ChatGPT-4o、Claude 3、Gemini 2.5、Copilotといった最先端の大規模言語モデルを使って言語反応を生成する。
危険運転行動を含むダッシュカムビデオと108人の参加者を対象としたユーザスタディを用いて,提案システムの評価を行った。
参加者は、好みの反応スタイルを選択し、感情的アライメントに基づいて、大きな言語モデルを評価した。
全てのモデルは好意的な評価を受けたが、好みはペルソナによって異なる。
特に、YOLOv8sとChatGPT-4oの組み合わせは5.00点中4.29点を記録した。
現実世界の知覚と感情適応対話を統合することで、KYAは感情的インテリジェントな車載人工知能のための新しいパラダイムを導入する。
従来の車両と自動運転車の両方の安全性、信頼、感情的幸福を改善するための有望な方向を提供する。
関連論文リスト
- InCarEmo: A Multimodal Dataset for In-Cabin Emotion Recognition and Driver State Monitoring [41.33240617747301]
InCarEmoは、キャビン内の感情認識とドライバ状態監視のためのマルチモーダルデータセットである。
RGBと赤外線ビデオ、インキャビンオーディオ、スクリプト化されたインキャビンシナリオから収集された対話テキストを統合する。
単モーダル法とマルチモーダル法にまたがる広範なベースライン結果を持つ統一ベンチマークを提供する。
論文 参考訳（メタデータ） (2026-07-16T07:44:42Z) - Driver-WM: A Driver-Centric Traffic-Conditioned Latent World Model for In-Cabin Dynamics Rollout [55.19244743715421]
Driver-WMは、ドライバー中心の潜在世界モデルで、アウトキャビンのトラフィックコンテキストを考慮に入れたインキャビンのダイナミクスをロールアウトする。
身体のキネマティクス予測を補助的な行動的・感情的意味認識と統合する。
ドライバ-WMは、反応性の高いハイモーション操作のための堅牢な長距離幾何学的予測を与える。
論文 参考訳（メタデータ） (2026-05-06T16:30:48Z) - Large Language Model based Interactive Decision-Making for Autonomous Driving [9.806333521695466]
高複雑性の混合交通シナリオでは、既存の自律運転システムは、過度に保守的な振る舞いをデフォルトとする。
本稿では,シーン理解と意図認識の相互作用を増強する大規模言語モデルに基づく対話型意思決定フレームワークを提案する。
クラスタ駆動シミュレータの実験では、提案手法は安全性、快適性、効率の指標で従来のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-04-26T03:19:12Z) - Visual and Cognitive Demands of a Large Language Model-Powered In-vehicle Conversational Agent [0.0]
本研究は,道路走行中における多言語モデル(LLM)会話エージェント(Gemini Live)の視覚的・認知的要求について検討した。
その結果、ジェミニ・ライブの相互作用は、視覚的ターンバイターンガイダンスとOSPANの類似した認知的負荷のレベルを共有していることがわかった。
論文 参考訳（メタデータ） (2026-01-21T14:37:05Z) - E3AD: An Emotion-Aware Vision-Language-Action Model for Human-Centric End-to-End Autonomous Driving [56.50212124887739]
自動運転車は、自由形式の自然言語コマンドを解釈し、感情を推測し、物理的に実現可能な軌道を計画しなければならない。
感情を意識したVLAフレームワークであるE3ADを提案する。
モダリティ事前学習と嗜好に基づくアライメントを組み合わせた一貫性指向のトレーニングスキームは、感情意図と運転行動の一貫性をさらに強化する。
論文 参考訳（メタデータ） (2025-12-04T12:17:25Z) - RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents [67.46032287312339]
大規模言語モデル(LLM)は論理的およびアルゴリズム的推論において優れているが、彼らの感情的知性(EQ)は認知能力よりもはるかに遅れている。
シミュレーションユーザによる検証可能な感情報酬を活用する,最初のエンドツーエンド強化学習フレームワークであるRLVERを紹介する。
以上の結果から,RLVERは感情的知的で幅広い言語エージェントへの実践的な経路であることが示唆された。
論文 参考訳（メタデータ） (2025-07-03T18:33:18Z) - SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models [63.71984266104757]
我々は、構造化されていない知識と構造化されていない知識の両方を取り入れることで、MLLMベースの自動運転を強化するフレームワークであるSafeAutoを提案する。
安全知識を明示的に統合するため,交通ルールを一階述語論理に変換する推論コンポーネントを開発した。
我々のマルチモーダル検索・拡張生成モデルは、過去の運転経験から学ぶために、ビデオ、制御信号、環境特性を活用する。
論文 参考訳（メタデータ） (2025-02-28T21:53:47Z) - DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in
Autonomous Driving [65.04871316921327]
本稿では,自律運転システムの性能と信頼性を高める新しい自律運転システムを提案する。
DME-Driverは、意思決定者として強力な視覚言語モデル、制御信号生成者として計画指向認識モデルを利用する。
このデータセットを利用することで、論理的思考プロセスを通じて高精度な計画精度を実現する。
論文 参考訳（メタデータ） (2024-01-08T03:06:02Z) - DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model [84.29836263441136]
本研究は,マルチモーダル大言語モデル(MLLM)に基づく新しい解釈可能なエンドツーエンド自動運転システムであるDriveGPT4を紹介する。
DriveGPT4は、車両動作の解釈を促進し、関連する推論を提供し、ユーザによるさまざまな質問に効果的に対処する。
論文 参考訳（メタデータ） (2023-10-02T17:59:52Z) - Exploring Contextual Representation and Multi-Modality for End-to-End
Autonomous Driving [58.879758550901364]
最近の知覚システムは、センサー融合による空間理解を高めるが、しばしば完全な環境コンテキストを欠いている。
我々は,3台のカメラを統合し,人間の視野をエミュレートするフレームワークを導入し,トップダウンのバードアイビューセマンティックデータと組み合わせて文脈表現を強化する。
提案手法は, オープンループ設定において0.67mの変位誤差を達成し, nuScenesデータセットでは6.9%の精度で現在の手法を上回っている。
論文 参考訳（メタデータ） (2022-10-13T05:56:20Z) - Audiovisual Affect Assessment and Autonomous Automobiles: Applications [0.0]
このコントリビューションは、課題を予測し、ロードコンテキスト上のマルチモーダルな"オーディオプラスx"におけるモデリングに影響を与える潜在的な方法を提供することを目的としています。
技術的には、乗用車内の個人を全面的にモデル化し、信頼性の高いダイアリゼーションを行う。
結論として、自動感情分析は、最初に選択されたユースケースにおける自動運転車の適用可能性の点まで成熟した。
論文 参考訳（メタデータ） (2022-03-14T20:39:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。