論文の概要: SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2608.04244v1
• Date: Tue, 04 Aug 2026 21:55:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.645637
• Title: SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models
• Title（参考訳）: SIGNPOST-Bench:マルチモーダル大言語モデルにおけるテキストビジョン競合解決のベンチマーク
• Abstract要約: マルチモーダル大規模言語モデル(MLLM)は、視覚とテキストの組み合わせによって現実の場面で基礎となる予測を行う。 SIGNPOST-Benchは,テキストビジョンのコンフリクト分解能を評価するための,制御されたデファクト・デファクト・ベンチマークである。
• 参考スコア（独自算出の注目度）: 9.496555964908188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) make grounded predictions in real-world scenes by combining visual and textual cues, yet existing benchmarks rarely reveal how they arbitrate between these evidence sources when they conflict. We introduce SIGNPOST-Bench, a controlled counterfactual benchmark for evaluating text-vision conflict resolution. Each source image is transformed into a counterfactual quintuplet of Original, Blank, Similar, Random, and Adversarial variants. Synthetic, localized scene-text interventions are designed to preserve non-textual content, enabling paired measurements of changes in localization performance and directed shifts toward geographic targets introduced by conflicting text. SIGNPOST-Bench contains 5,111 counterfactual groups and 25,555 image variants from four datasets. We evaluate 20 MLLMs from seven providers. Compared with Original images, Adversarial variants raise median localization error from 282 km to 1,347 km, a 4.8-fold increase. Among geocodable adversarial samples, 6.5-20.1% of predictions lie less than 50 km from the injected target across models, and every evaluated model exhibits a positive mean paired reduction in target distance from Blank to Adversarial. Compatible, unrelated, and conflicting text replacements produce distinct effects on model predictions, while clean-input localization performance does not fully predict robustness to conflicting text. These results establish visual geolocation as a continuous diagnostic of scene-text arbitration and provide a controlled framework for evaluating how MLLMs resolve conflicting multimodal evidence.
• Abstract（参考訳）: マルチモーダルな大規模言語モデル(MLLM)は、視覚とテキストの組み合わせによって現実の場面で基礎となる予測を行うが、既存のベンチマークでは、それらが衝突した場合にこれらの証拠を仲裁する方法をほとんど明らかにしていない。 SIGNPOST-Benchは,テキストビジョンのコンフリクト分解能を評価するための制御されたデファクト・デファクト・ベンチマークである。 各ソースイメージは、Original、Blank、Simisal、Random、Adversarialの逆ファクトアルクインタップレットに変換される。 合成、局所化されたシーンテキストの介入は、非テキストコンテンツを保存するように設計されており、ローカライゼーション性能の変化と、矛盾するテキストによって導入された地理的ターゲットへの方向転換をペアで測定することができる。 SIGNPOST-Benchには、5,111の反ファクトグループと4つのデータセットから25,555の画像変種が含まれている。 7つのプロバイダから20のMLLMを評価した。 原画像と比較すると、逆数変種は中央値の局所誤差を282kmから1,347kmに上げ、4.8倍に増やす。 ジオコジュアブル逆数サンプルのうち、6.5～20.1%の予測は射出目標からモデルまで50km未満であり、評価されたモデルは全てブランクから逆数への目標距離の正の平均対の減少を示す。 互換性があり、関連がなく、矛盾するテキスト置換は、モデル予測に明確な影響をもたらすが、クリーンなインプットのローカライゼーション性能は、矛盾するテキストに対する堅牢性を完全には予測しない。 これらの結果は,シーンテキスト仲裁の連続的診断として視覚的位置情報を確立し,MLLMが競合するマルチモーダル証拠をどう解決するかを評価するための制御された枠組みを提供する。

関連論文リスト

• NumBench: Diagnosing Counting Failures in Text-to-Image Models [27.391694807526857]
  テキスト・トゥ・イメージ(T2I)モデルは、しばしば間違った数のオブジェクトを生成するが、既存のベンチマークは、理由を説明するには小さすぎるか弱すぎる。 textbfは1,600のカテゴリにまたがる640,000のプロンプトと1から100までのカウントのベンチマークです。 また、要求されたインスタンスが解決可能な画像領域の有限セットに競合するプロセスモデルも開発する。
  論文  参考訳（メタデータ） (2026-08-28T11:26:19Z)
• QuISE: Defense against Typographic Attacks on VLMs via Query-Irrelevant Semantic Editing [4.1436924146144944]
  タイポグラフィー攻撃は視覚言語モデルにとって重大な脅威となる。 QuISEは、クエリ非関連セマンティック編集に基づく、モデルに依存しない、トレーニング不要なブラックボックスディフェンスである。
  論文  参考訳（メタデータ） (2026-08-13T11:47:50Z)
• When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
  本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
  論文  参考訳（メタデータ） (2026-08-05T11:46:15Z)
• DisasterTD: Disaster Toponym Disambiguation Using Multimodal LLMs and Cross-View Geolocalization [38.854595481332275]
  ソーシャルメディア画像(SMI)は、状況認識と緊急対応に有用な、タイムリーできめ細かな地上の視点を提供する。 SMIの地理的参照はしばしば曖昧または曖昧であり、正確な地理的局所化を困難にしている。 本研究では,マルチモーダルな大言語モデル(MLLM)に基づく意味推論とクロスビューなジオローカライゼーションを統合した災害トポニムの曖昧化フレームワークであるDreamaTDを提案する。
  論文  参考訳（メタデータ） (2026-07-26T02:51:53Z)
• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• Belief Propagation in LLM World Models: Measuring Strategic Information Bias with Prediction Markets [0.5999408856514375]
  英国のニュースの文脈は、地域の予測を体系的にバイアスしており、その64～72%が間違っていた。 実際の結果を知っている汚染されたモデルは、同じエラー率を示し、バイアスが主にテキストから生じることを示す。 歪みは主にモデルではなくソースに起因していることが示される。
  論文  参考訳（メタデータ） (2026-05-12T09:22:45Z)
• Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs [23.958966900531692]
  MLLM(Multimodal large language model)は、画像として表示されるテキストを処理できるが、同じコンテンツがテキストトークンとして提供される場合よりも処理が悪くなることが多い。 我々は,この「モダリティギャップ」を7つのベンチマークを5つの入力モードで評価することにより,系統的に診断する。
  論文  参考訳（メタデータ） (2026-03-10T02:14:23Z)
• Mind the Way You Select Negative Texts: Pursuing the Distance Consistency in OOD Detection with VLMs [80.03370593724422]
  Out-of-Distribution (OOD) は未知のクラスからサンプルを識別する。 現在の手法では、否定的なテキストとIDラベルを比較するなど、OOD検出中にモード内距離を組み込むことが多い。 テキストおよび視覚的視点から一貫したモーダル距離拡張を体系的に利用するフレームワークであるInterNegを提案する。
  論文  参考訳（メタデータ） (2026-03-03T05:44:47Z)
• Do Images Speak Louder than Words? Investigating the Effect of Textual Misinformation in VLMs [17.56537230934894]
  Vision-Language Models (VLM)は、Visual-Question-Answering (VQA)ベンチマークで強力なマルチモーダル推論能力を示している。 これらのモデルが、誤解を招くテキストのプロンプトに対して脆弱であることを示し、しばしば矛盾するテキストを支持する明確な視覚的証拠をオーバーライドしている。
  論文  参考訳（メタデータ） (2026-01-27T05:04:38Z)
• UniREditBench: A Unified Reasoning-based Image Editing Benchmark [52.54256348710893]
  この研究は、推論に基づく画像編集評価のための統一ベンチマークUniREditBenchを提案する。 精巧にキュレートされた2,700個のサンプルからなり、8つの一次次元と18のサブ次元にわたる実世界シナリオとゲーム世界のシナリオをカバーしている。 このデータセットにBagelを微調整し、UniREdit-Bagelを開発した。
  論文  参考訳（メタデータ） (2025-11-03T07:24:57Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• Mixed Signals: Decoding VLMs' Reasoning and Underlying Bias in Vision-Language Conflict [3.9495397165148023]
  本稿では,視覚言語モデル(VLM)が画像とテキストの相反するシナリオに直面する場合の理由を示す。 我々の分析では、VLMはより単純なクエリでテキストを好むが、クエリの複雑さが増大するにつれて画像にシフトする。 さらに、簡単なプロンプト修正、矛盾する情報を扱うためのモデルを明確に指示する修正という3つの緩和戦略についても検討する。
  論文  参考訳（メタデータ） (2025-04-11T20:56:52Z)
• Less is More: Fewer Interpretable Region via Submodular Subset Selection [54.07758302264416]
  本稿では,上述の画像帰属問題を部分モジュラ部分選択問題として再モデル化する。 我々は、より正確な小さな解釈領域を発見するために、新しい部分モジュラー関数を構築する。 正しく予測されたサンプルに対しては,HSIC-Attributionに対する平均4.9%と2.5%の利得で,Deletion and Insertionスコアを改善した。
  論文  参考訳（メタデータ） (2024-02-14T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。