論文の概要: Grounding Vision-Language Models in Driving Semantics: A Multi-Dataset Predicate Framework for Explainable Reasoning

• arxiv url: http://arxiv.org/abs/2609.31636v1
• Date: Thu, 10 Sep 2026 18:30:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 14:32:50.223752
• Title: Grounding Vision-Language Models in Driving Semantics: A Multi-Dataset Predicate Framework for Explainable Reasoning
• Title（参考訳）: 運転セマンティックスにおける接地視覚-言語モデル:説明可能な推論のためのマルチデータセット述語フレームワーク
• Abstract要約: 本稿では, 計測可能な幾何学的, 運動論的, 時間的, 地図的, 交通制御的エビデンスから, 運転場面のセマンティクスを導出する決定論的マルチデータセット述語フレームワークを提案する。 述語の定義はnuPlanやnuScenesで変化せず、共通の述語知識グラフで具体化されている。 各データセットからの200のシナリオに対する手動の注釈付き述語関係に対する定量的なセマンティックバリデーションは、nuPlanのマクロF1スコアが0.94、nuScenesの0.93、共有述語の平均クロスデータセット差が0.02である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models are increasingly used for driving-scene understanding, yet the semantic relations expressed in their outputs are often difficult to verify against the underlying traffic situation. This paper introduces a deterministic multi-dataset predicate framework that derives driving-scene semantics from measurable geometric, kinematic, temporal, map, and traffic-control evidence. Dataset-specific interfaces are used only to recover the required scene information, while predicate definitions remain unchanged across nuPlan and nuScenes and are materialised in a common Predicate Knowledge Graph. Quantitative semantic validation against manually annotated predicate relations on 200 scenarios from each dataset yields macro F1 scores of 0.94 on nuPlan and 0.93 on nuScenes, with an average cross-dataset difference of 0.02 across the shared predicates. The Predicate KG is further evaluated using a frozen LLaVA-OneVision-7B model on the nine NuPlanQA subtasks. Predicate grounding achieves the highest accuracy among the evaluated visual-input conditions in seven of nine NuPlanQA subtasks, including Traffic Light (53.2% to 71.5%), Situation Assessment (76.2% to 86.1%), and Action Recommendation (82.9% to 89.0%). Weather/Lighting remains essentially unchanged (89.4% vs. 88.8%), consistent with the absence of corresponding predicates, while Predicate KG only input outperforms metadata-only input in eight of nine subtasks. The results show that deterministic predicates provide a consistent and traceable semantic representation and, under oracle grounding, can reduce visual dependence for reasoning tasks covered by the predicate vocabulary.
• Abstract（参考訳）: 視覚言語モデルは、ドライブシーンの理解にますます利用されるが、アウトプットで表現される意味的関係は、基盤となる交通状況に対して検証することがしばしば困難である。 本稿では, 計測可能な幾何学的, 運動論的, 時間的, 地図的, 交通制御的エビデンスから, 運転場面のセマンティクスを導出する決定論的マルチデータセット述語フレームワークを提案する。 データセット固有のインターフェースは必要なシーン情報を復元するためにのみ使用されるが、述語定義はnuPlanやnuScenesで変更されておらず、共通の述語知識グラフで具体化されている。 各データセットからの200のシナリオに対する手動の注釈付き述語関係に対する定量的なセマンティックバリデーションは、nuPlanのマクロF1スコアが0.94、nuScenesの0.93、共有述語の平均クロスデータセット差が0.02である。 プレディケートKGは9つのNuPlanQAサブタスク上で冷凍LLaVA-OneVision-7Bモデルを用いてさらに評価される。 予測グラウンドティングは、トラフィックライト(53.2% - 71.5%)、アセスメントアセスメントアセスメント(76.2% - 86.1%)、アクションレコメンデーション(82.9% - 89.0%)を含む9つのNuPlanQAサブタスクのうち、評価された視覚入力条件のうち、最も正確である。 天気/照明は基本的に変化せず(89.4%対88.8%)、対応する述語が存在しないのに対して、述語KGはメタデータのみの入力を9つのサブタスクのうち8つで上回っている。 その結果、決定論的述語は、一貫性があり、追跡可能な意味表現を提供し、オラクル接地の下では、述語語彙によってカバーされる推論タスクに対する視覚的依存を減らすことができることが示された。

関連論文リスト

• Beyond Pixels: Introspective and Interactive Grounding for Visualization Agents [3.1626173943755975]
  VLM(Vision-Language Models)は、しばしば誤読値、幻覚的詳細、チャート内の重なり合う要素を混乱させる。 現在のアプローチはピクセル解釈のみに依存し、Pixel-Only Bottleneckを作成する。 Introspective and Interactive Visual Grounding (IVG)は、スペック・グラウンド・イントロスペクションとビュー・グラウンド・インタラクションを組み合わせたフレームワークである。
  論文  参考訳（メタデータ） (2026-04-22T22:47:23Z)
• Facts-and-Feelings: Capturing both Objectivity and Subjectivity in Table-to-Text Generation [41.09752906121257]
  私たちは3849のデータインスタンスを持つTa2TSデータセットを紹介します。 本稿では,線形化テーブル上でのシーケンス・ツー・シーケンスの微調整と,一般的な大言語モデルへのプロンプトを行う。
  論文  参考訳（メタデータ） (2024-06-15T08:41:44Z)
• Telling Left from Right: Identifying Geometry-Aware Semantic Correspondence [80.6840060272386]
  本稿では,意味的対応のための幾何学的認識の重要性を明らかにする。 この情報を活用することで,意味的対応性能が著しく向上することを示す。 提案手法は,SPair-71kデータセット上で,65.4(ゼロショット)と85.6(教師)のPCK@0.10スコアを達成する。
  論文  参考訳（メタデータ） (2023-11-28T18:45:13Z)
• Panoptic Scene Graph Generation with Semantics-Prototype Learning [23.759498629378772]
  Panoptic Scene Graph Generation (PSG)は、オブジェクトを解析し、それらの関係(述語)を予測し、人間の言語と視覚シーンを結びつける。 アノテーションの言語選好と述語間の意味的な重複は、偏りのある述語アノテーションにつながる。 そこで我々はADTransという新しいフレームワークを提案し、バイアス付き述語アノテーションを情報化と統一化に適応的に転送する。
  論文  参考訳（メタデータ） (2023-07-28T14:04:06Z)
• Fine-Grained Predicates Learning for Scene Graph Generation [155.48614435437355]
  Fine-Grained Predicates Learningは、シーングラフ生成タスクにおいて、識別困難な述語間の差別化を目的としている。 本稿では,SGGモデルによる詳細な述語ペアの探索を支援するPredicate Latticeを提案する。 次に、カテゴリ識別損失とエンティティ識別損失を提案し、どちらも粒度の細かい述語の識別に寄与する。
  論文  参考訳（メタデータ） (2022-04-06T06:20:09Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)
• A Simple Language Model for Task-Oriented Dialogue [61.84084939472287]
  SimpleTODはタスク指向対話に対する単純なアプローチであり、すべてのサブタスクのリキャストで訓練された単一因果言語モデルを単一シーケンス予測問題として利用する。 これによりSimpleTODは、事前訓練されたオープンドメイン、GPT-2のような因果言語モデルからのトランスファー学習を完全に活用できる。
  論文  参考訳（メタデータ） (2020-05-02T11:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。