論文の概要: Hints of Prompt: Enhancing Visual Representation for Multimodal LLMs in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2411.13076v1
• Date: Wed, 20 Nov 2024 06:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:12.573447
• Title: Hints of Prompt: Enhancing Visual Representation for Multimodal LLMs in Autonomous Driving
• Title（参考訳）: Prompt のヒント: 自律運転における多モード LLM の視覚表現の強化
• Authors: Hao Zhou, Zhanning Gao, Maosheng Ye, Zhili Chen, Qifeng Chen, Tongyi Cao, Honggang Qi,
• Abstract要約: 一般的なMLLMとCLIPの組み合わせは、駆動固有のシナリオを正確に表現するのに苦労することが多い。 Hints of Prompt (HoP) フレームワークを提案する。 これらのヒントはHint Fusionモジュールを通じて融合され、視覚的表現が強化され、マルチモーダル推論が強化される。
• 参考スコア（独自算出の注目度）: 65.04643267731122
• License:
• Abstract: In light of the dynamic nature of autonomous driving environments and stringent safety requirements, general MLLMs combined with CLIP alone often struggle to represent driving-specific scenarios accurately, particularly in complex interactions and long-tail cases. To address this, we propose the Hints of Prompt (HoP) framework, which introduces three key enhancements: Affinity hint to emphasize instance-level structure by strengthening token-wise connections, Semantic hint to incorporate high-level information relevant to driving-specific cases, such as complex interactions among vehicles and traffic signs, and Question hint to align visual features with the query context, focusing on question-relevant regions. These hints are fused through a Hint Fusion module, enriching visual representations and enhancing multimodal reasoning for autonomous driving VQA tasks. Extensive experiments confirm the effectiveness of the HoP framework, showing it significantly outperforms previous state-of-the-art methods across all key metrics.
• Abstract（参考訳）: 自律運転環境と厳密な安全要件の動的な性質を考慮して、一般的なMLLMはCLIPのみと組み合わせて、特に複雑なインタラクションやロングテールケースにおいて、運転固有のシナリオを正確に表現するのに苦労することが多い。 これを解決するために,Hints of Prompt (HoP) フレームワークを提案する。Affinity hint to emphasis instance-level structure by strengthening token-wise connection, Semantic hint to include high-level information for driving-specific case, such as complex interaction between vehicle and traffic sign, Question hint toaligned visual features with the context context, focus on question-re relevant region。 これらのヒントはHint Fusionモジュールを通じて融合され、視覚的表現が強化され、自律運転VQAタスクのためのマルチモーダル推論が強化される。 大規模な実験により、HoPフレームワークの有効性が確認され、すべての主要なメトリクスで従来の最先端メソッドよりも大幅に優れていた。

関連論文リスト

• EraW-Net: Enhance-Refine-Align W-Net for Scene-Associated Driver Attention Estimation [17.0226030258296]
  2つの視野にわたる運転シーンにドライバーの注意を関連付けることは、クロスドメインな認識の問題である。 従来の手法は、通常、単一の視点に焦点を当てたり、推定された視線を通してシーンに注意を向ける。 エンド・ツー・エンドのシーン関連運転注意度推定手法であるEraWNetを提案する。
  論文  参考訳（メタデータ） (2024-08-16T07:12:47Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• KoMA: Knowledge-driven Multi-agent Framework for Autonomous Driving with Large Language Models [15.951550445568605]
  自律エージェントとしての大規模言語モデル(LLM)は、知識駆動的な方法で現実の課題に取り組むための新しい道筋を提供する。 我々は,マルチエージェントインタラクション,マルチステップ計画,共有メモリ,ランキングベースのリフレクションモジュールからなるKoMAフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-19T12:13:08Z)
• Reason2Drive: Towards Interpretable and Chain-based Reasoning for Autonomous Driving [38.28159034562901]
  Reason2Driveは600万以上のビデオテキストペアを備えたベンチマークデータセットである。 我々は、自律運転プロセスが知覚、予測、推論ステップの逐次的な組み合わせであると特徴付けている。 本稿では,自律システムにおける連鎖型推論性能を評価するための新しい集計評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-06T18:32:33Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Drive Anywhere: Generalizable End-to-end Autonomous Driving with Multi-modal Foundation Models [114.69732301904419]
  本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。 当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:56:35Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• AIDE: A Vision-Driven Multi-View, Multi-Modal, Multi-Tasking Dataset for Assistive Driving Perception [26.84439405241999]
  本稿では,車内と車外の両方でコンテキスト情報を考察するAssIstive Driving pErceptionデータセット(AIDE)を提案する。 AIDEは3つの特徴を通して総合的なドライバー監視を容易にする。 2つの融合戦略を導入し、効果的なマルチストリーム/モーダル表現の学習に新たな洞察を与える。
  論文  参考訳（メタデータ） (2023-07-26T03:12:05Z)
• Support-set based Multi-modal Representation Enhancement for Video Captioning [121.70886789958799]
  サンプル間で共有されるセマンティックサブ空間において、リッチな情報をマイニングするためのサポートセットベースのマルチモーダル表現拡張(SMRE)モデルを提案する。 具体的には、サンプル間の基礎となる関係を学習し、意味的関連視覚要素を得るためのサポートセットを構築するためのサポートセット構築(SC)モジュールを提案する。 本研究では,SST(Semantic Space Transformation)モジュールを設計し,相対距離を制約し,マルチモーダルインタラクションを自己管理的に管理する。
  論文  参考訳（メタデータ） (2022-05-19T03:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。