論文の概要: Mechanistic Diagnostics of Spatial Lexical Bias in Multimodal Large Language Model Spatial Reasoning

• arxiv url: http://arxiv.org/abs/2606.01914v1
• Date: Mon, 01 Jun 2026 08:49:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.63065
• Title: Mechanistic Diagnostics of Spatial Lexical Bias in Multimodal Large Language Model Spatial Reasoning
• Title（参考訳）: マルチモーダル大言語モデル空間推論における空間語彙バイアスの力学診断
• Authors: Chuang Ma, Qianying Liu, Tomoyuki Obuchi, Fei Cheng, Wang Yang, Sudong Cai, Shuyuan Zheng, Akiko Aizawa, Sadao Kurohashi,
• Abstract要約: 応答オプションに空間関係語を追加することで、モデルの判断を引き付けることができ、新たに追加されたオプションを選択する可能性が高まる。 モデルが二項空間問題に正しく答えられるが、解集合に追加されると不正確な第3の空間オプションが一貫して選択されることを示す。 単一オブジェクト対合成データに対する軽量なLDMのみのDPO更新がバイアスを軽減することを示す。
• 参考スコア（独自算出の注目度）: 37.5846828763184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) remain unreliable on spatial multiple-choice questions, and their failures are often attributed to poorly attended visual information. In this work, we identify a complementary failure mode, spatial lexical bias: adding a spatial relation word to the answer options can attract the model's decision and make the newly added option likely to be selected. Using nine open-weight MLLMs, we show that this phenomenon is widely observed. In particular, models can answer a binary spatial question correctly, yet consistently select an incorrect third spatial option once it is added to the answer set. We isolate such binary-stable but ternary-fragile cases as diagnostic examples and leverage mechanistic interpretability tools, revealing that a substantial part of the failure instead originates on the language side rather than the visual side: visual attention analyses and residual-stream probes show the correct spatial relation remains internally available on these failures, while irrelevant-option controls, activation patching, and sparse component interventions trace the bias to specific LLM-side channels and neurons. Based on this finding, we show that a lightweight LLM-only DPO update on tiny single-object-pair synthetic data mitigates the bias, lifting four-way robust accuracy by up to 100 points on synthetic data, and by 68.0, 32.6, and 20.1 points on broader evaluation datasets WhatsUp, SpatialMQA-Direct, and VSR.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は空間的多重選択問題では信頼できないままであり、その失敗は視力不足に起因することが多い。 本研究は,補足的障害モード,空間語彙バイアスを同定する: 解答オプションに空間関係語を追加すると,モデルの判断を惹きつけることができ,新たに追加された選択肢を選択する可能性が高まる。 9個のオープンウェイトMLLMを用いて,この現象が広く観察されていることを示す。 特に、モデルは二項空間的問題に正しく答えることができるが、解集合に追加されると、不正確な第3の空間的オプションを一貫して選択する。 視覚的注意分析と残ストリームプローブは、これらの障害において、正確な空間関係が内部的に利用可能であることを示し、無関係なオプション制御、アクティベーションパッチ、スパースコンポーネントの介入は、特定のLLM側チャネルやニューロンにバイアスをさす。 この結果から、単一オブジェクト対合成データに対する軽量なLCMのみのDPO更新はバイアスを軽減し、合成データに対して最大100ポイントの4方向精度を引き上げ、より広範な評価データセットであるWhatsUp、SpatialMQA-Direct、VSRにおいて68.0、32.6、20.1ポイントの精度を向上することを示した。

関連論文リスト

• SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models [36.40093869747498]
  本稿では,スパースオートエンコーダの潜在空間で動作するポストホック・ゼロショット脱バイアスフレームワークであるスパース埋め込み変調(SEM)を提案する。 SEMは、クエリ関連ニューロンを保持しながらバイアス関連ニューロンを特定し、調節する。 この結果から,疎度な潜在表現は,視覚言語モデルのポストホックなデバイアス化に有効な基盤となることが示唆された。
  論文  参考訳（メタデータ） (2026-03-19T15:28:08Z)
• From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
  我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。 このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。 評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
  論文  参考訳（メタデータ） (2025-12-22T18:58:12Z)
• Distance Is All You Need: Radial Dispersion for Uncertainty Estimation in Large Language Models [13.41454380481593]
  本稿では,bfRadial Dispersion Score (RDS)を紹介した。 RDSは自然にサンプルごとのスコアリングに拡張され、ベスト・オブ・N$選択や信頼に基づくフィルタリングなどのアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2025-12-04T00:53:49Z)
• HyCoVAD: A Hybrid SSL-LLM Model for Complex Video Anomaly Detection [0.0]
  ビデオ異常検出(VAD)はインテリジェントな監視には不可欠だが、複雑な異常を識別することが大きな課題である。 マルチタスク SSL 時間解析器と LLM バリデータを組み合わせたハイブリッド SSL-LLM モデルである HyVAD を導入する。
  論文  参考訳（メタデータ） (2025-09-26T16:20:06Z)
• From Distributional to Overton Pluralism: Investigating Large Language Model Alignment [82.99849359892112]
  適応後の応答多様性の低下を以前報告した再検査を行った。 分析の結果,応答の多様性の明らかな低下は,品質管理と情報集約によって大きく説明できることがわかった。 発見は、現在のアライメント技術はキャプチャーされるが、アシスタントライクなベースLLM動作の有用なサブセットを拡張するものではないことを示している。
  論文  参考訳（メタデータ） (2024-06-25T16:32:33Z)
• MM-SpuBench: Towards Better Understanding of Spurious Biases in Multimodal LLMs [38.93090238335506]
  非意味な入力属性と予測対象変数の急激な相関を利用する傾向にあるスパースバイアスは、単一のモダリティデータに基づいて訓練されたディープラーニングモデルに深刻な落とし穴があることを明らかにした。 本稿では,9つの異なる相関関係のカテゴリに対するMLLMの信頼度を評価するために,包括的視覚質問応答(VQA)ベンチマークであるMM-SpuBenchを紹介する。 以上の結果から,これらのモデルからの素因相関への依存の持続性を明らかにし,素因バイアスを緩和する新たな手法の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-06-24T20:29:16Z)
• MLAD: A Unified Model for Multi-system Log Anomaly Detection [35.68387377240593]
  複数のシステムにまたがる意味的関係推論を組み込んだ新しい異常検出モデルMLADを提案する。 具体的には、Sentence-bertを用いてログシーケンス間の類似性を捉え、それらを高次元の学習可能な意味ベクトルに変換する。 我々は,各キーワードのシーケンスにおける意義を識別し,マルチシステムデータセットの全体分布をモデル化するために,アテンション層の公式を改訂する。
  論文  参考訳（メタデータ） (2024-01-15T12:51:13Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。