論文の概要: StemBind: When MLLMs Get Lost Between Rules and Instances in Abstract Visual Reasoning

• arxiv url: http://arxiv.org/abs/2606.00148v1
• Date: Fri, 29 May 2026 03:20:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.065014
• Title: StemBind: When MLLMs Get Lost Between Rules and Instances in Abstract Visual Reasoning
• Title（参考訳）: StemBind: 抽象的なビジュアル推論において、MLLMがルールとインスタンスの間に失われたとき
• Abstract要約: マルチモーダルな大言語モデル(MLLM)はルールをよく知っているが、視覚的推論タスクについて間違った答えを選択する。 既存のベンチマークでは、知覚を崩壊させ、ルール誘導し、答えの選択を1つの右または右の信号に変換するため、これを検出できない。 StemBindは、同じ視覚幹を3つの質問で探索する共有視点診断ベンチマークである。
• 参考スコア（独自算出の注目度）: 13.74158437063828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) often know the rule but pick the wrong answer: on abstract visual reasoning (AVR) tasks, a model can describe what it sees and name the underlying pattern, yet still fail to choose the matching candidate. Existing AVR benchmarks cannot detect this because they collapse perception, rule induction, and answer selection into a single right-or-wrong signal. We introduce StemBind, a shared-stem diagnostic benchmark that probes the same visual stem with three aligned questions: Perception (what is in the image), Rule (what pattern governs it), and Full (which option completes it), so a final-answer error can be attributed to a specific sub-step on the same evidence. StemBind contains 2,298 curated knowledge-light stems across nine auditable visual operations, totaling 19,533 P/R/F tasks, with each full item annotated by Sternberg's four reasoning stages (S1 Encode, S2 Infer, S3 Map, S4 Apply). Evaluating 24 frontier MLLM configurations yields four findings. (i) The R-F chasm: rule accuracy exceeds full-item accuracy on 22 of 24 models, so most failures happen after the rule is identified. (ii) A persistent binding gap: even when P and R are both correct on the same stem, models still answer F incorrectly 51.2% of the time. (iii) The bottleneck is S3: process diagnostics and Stage-wise Stimulus Augmentation localize the dominant failure to rule-to-instance mapping. (iv) Scaling and thinking do not help: neither larger models nor explicit thinking mode reliably closes the gap, and thinking even lowers rule and full-item accuracy. StemBind reframes AVR evaluation from final-answer ranking to locating where abstract visual reasoning breaks down, identifying rule-to-instance binding as a concrete next target for vision-grounded reasoning.
• Abstract（参考訳）: 抽象的な視覚的推論(AVR)タスクでは、モデルが何を見たかを説明し、その基盤となるパターンを命名するが、一致する候補を選択することに失敗する。 既存のAVRベンチマークでは、知覚を崩壊させ、ルール誘導し、答えの選択を1つの右または右の信号に変換するため、これを検出できない。 StemBindは、同じ視覚的幹を、知覚(画像に何があるか)、ルール(どのパターンが支配するか)、フル(どのパターンが支配するか)の3つの質問で探索し、最終的な問合せエラーは、同じ証拠の特定のサブステップに起因することができる。 StemBindには、19,533のP/R/Fタスクを含む、監査可能な9つの視覚操作の2,298個のキュレートされたナレッジライトステムが含まれており、各項目はSternbergの4つの推論段階(S1 Encode, S2 Infer, S3 Map, S4 Apply)によって注釈付けされている。 24のフロンティアMLLM構成を評価すると4つの結果が得られた。 i) R-Fシャズム:24モデル中22モデルにおいて、ルール精度がフルイム精度を超えるため、ルールが特定された後、ほとんどの障害が発生する。 (ii) 持続的な結合ギャップ: P と R が同一の幹で正しいとしても、モデルは F の誤りを51.2% の時間で答える。 (iii)ボトルネックはS3:プロセス診断とStage-wise Stimulus Augmentationは、ルール・ツー・インスタンスマッピングの主流の失敗をローカライズする。 (4) スケールと思考は役に立たない: より大きなモデルも明示的な思考モードも、ギャップを確実に閉じ、思考はさらにルールと完全な精度を下げる。 StemBindはAVR評価を、最終回答ランキングから、抽象的な視覚的推論が故障した場所の位置へのリフレームし、ルール・ツー・インスタンス・バインドを視覚的推論のための具体的な次のターゲットとして特定する。

関連論文リスト

• Guide, Not Bind: Why Defeasible Priors Fail in Augmented Lagrangian Causal Discovery [0.0]
  異なる因果発見法は、拡張ラグランジアン罰によって強制される厳格な制約として専門家の事前を符号化する。 この設計は、結合ではなく、エンファングイドと呼ばれるもので、2つの独立した、正確に特徴づけられた理由で失敗することを示している。
  論文  参考訳（メタデータ） (2026-09-03T06:53:34Z)
• V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
  視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。 本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。 我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-26T09:40:46Z)
• Grading the Graders: Verification Autonomy Levels (L0-L5) for LLM Reasoning [0.0]
  検証自律度(VAL, Verification Autonomy Levels)は,一つの軸に沿って任意の検証スキームを分類するメタスタンダードである。 VAL は L0 (LLM self-declaration; no deterministic anchor) から L2 (objective ground truth; correctness only) から L3 (decidable systems with single-property or domain-level completeness) まで様々である。 置換およびサンプリングに基づく検証は、提案された候補が保持されていることを確認できるが、候補が見逃されたことを証明できない。
  論文  参考訳（メタデータ） (2026-08-19T15:10:00Z)
• Knowledge before Reasoning: EC-Reason-Bench, a Training-Free Diagnostic Benchmark for LLM Enzyme Classification [36.44850004100564]
  本稿では,EC-Reason-Benchを提案する。 第一に、外部知識は決定的であり、推論に先立っていなければならない。 第二に、クローズドブックの設定では、カスケードやチェーン・オブ・シンクが役に立つか傷つくかは、モデルが控える傾向に依存する。
  論文  参考訳（メタデータ） (2026-07-29T02:16:09Z)
• Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
  一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。 固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。 提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
  論文  参考訳（メタデータ） (2026-07-13T14:22:06Z)
• Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
  RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。 RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。 最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
  論文  参考訳（メタデータ） (2026-06-17T17:59:34Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• DECK: A Consistency x Confidence Taxonomy of LLM Hallucinations [0.0]
  既存の幻覚は、アウトプットの誤りによってエラーを分類します。 これらは診断に役立ちますが、別の質問に答えることはできません。 本稿では,検出可能性シグネチャによってエラーを分類する補完的な分類法を提案する。
  論文  参考訳（メタデータ） (2026-06-01T14:11:11Z)
• Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)? [72.2500547961037]
  空間推論は視覚言語モデル(VLM)が現実世界の環境に展開する基本的な能力である。 対象情報を隠蔽するオクルージョン(Occlusion)と、誤解を招く視覚的手がかりを生成する視点曖昧性(spective ambiguity)の2つのタイプの観察課題を紹介した。 各構成について、クリーンな観察では答えられるが、導入した課題では無視する必要がある空間的質問を設計する。
  論文  参考訳（メタデータ） (2026-05-28T20:44:47Z)
• Pramana: A Protocol-Layer Treatment of Claim Verification in Autonomous Agent Networks [0.0]
  確率的検証パターン(自己整合性投票、レビュアー LLM アンサンブル)は、人工物ではなく、判断を生成する。 Pramana は、ワイヤフォーマットの欠如を定義している。すべての連続エージェント出力は、タイプ付き ClaimAttestation でラップされ、4つの変種のうちの1つでラップされる。 プラマナは3つの対称性を再現したモデル(38,563個の到達可能な状態、0個の不変な違反)でTLCの下で徹底的に検証された。
  論文  参考訳（メタデータ） (2026-05-19T17:00:33Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
  CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。 本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。 CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
  論文  参考訳（メタデータ） (2026-03-13T15:48:15Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
  本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。 我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
  論文  参考訳（メタデータ） (2026-02-06T23:27:17Z)
• e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings [91.3041144166326]
  市販の視覚言語モデルをロバストなオムニモーダル埋め込みモデルに適応させる軽量な明示的アライメントレシピであるe5-omniを提案する。 e5-omniは、類似度尺度を整合させるためにモード対応温度校正と、混乱する負の点に焦点を合わせた制御可能な負のカリキュラムと、クロスモーダル幾何に適合するバッチホワイトニングを組み合わせる。 MMEB-V2とAudioCapsの実験では、強いバイモーダルおよびオムニモーダルベースラインよりも一貫した利得を示した。
  論文  参考訳（メタデータ） (2026-01-07T07:39:40Z)
• Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection [85.0189917888094]
  本稿では,微妙で頻繁なミスによって生じる課題に対処するため,Dual-Stage Reweighted Mixture-of-Experts (DR-MoE) フレームワークを提案する。 提案手法は,特に稀かつ曖昧な誤りの特定において,高い性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T12:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。