論文の概要: Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs

• arxiv url: http://arxiv.org/abs/2608.12781v1
• Date: Thu, 13 Aug 2026 03:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.385637
• Title: Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs
• Title（参考訳）: ハイブリットシンキングMLLMにおけるベンチマークとアライディング応答挙動
• Authors: Xinming Wang, Weinong Wang, Hongming Yang, Yansong Lin, Zheng Ruan, Shangpin Peng, Qiming Peng, Nan Qiao, Fengyuan Lu, Guoqing Ma, Marito Li, Songyang Zhang, Saiyong Yang, Han Hu, Yonglong Tian, Xu-Yao Zhang,
• Abstract要約: 思考と非思考のインターフェースが許容される最終応答行動を維持するか否かを考察する。 PatternEvalは、チェーン・オブ・インプリート・リーク、レスポンスの繰り返し、論理的矛盾、パフォーマンス的推論の4つの繰り返し障害をテストする。 我々は、レスポンシブレベルの報酬モデルである textbfPatternRM と、強化学習中にパターン固有の罰則を導入する textbfPatternRL を開発した。
• 参考スコア（独自算出の注目度）: 46.40763822929566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid-thinking multimodal large language models (MLLMs) allow a single model to alternate between deliberative thinking and latency-efficient non-thinking inference. Although these modes differ in reasoning budget, their delivered responses should satisfy the same user-facing standard. Correctness alone may not characterize this response quality; we therefore evaluate task accuracy and response-pattern failures as complementary outcomes. We study this gap through \textbf{response-pattern alignment}: whether thinking and non-thinking interfaces preserve acceptable final-response behavior. We introduce \textbf{PatternEval}, a failure-enriched diagnostic benchmark comprising 2,415 multimodal prompts spanning visual perception and grounding, structured image understanding, and multimodal knowledge reasoning. PatternEval tests four recurrent failures: chain-of-thought leakage, response repetition, logical contradiction, and performative reasoning. Response-pattern failures are widespread across models from different providers, with non-thinking inference exhibiting substantially higher failure rates and thereby creating systematic misalignment between thinking and non-thinking interfaces. Motivated by this diagnosis, we develop \textbf{PatternRM}, a response-level reward model, and \textbf{PatternRL}, which introduces pattern-specific penalties during reinforcement learning. Experiments on Qwen3-VL-4B and Qwen3-VL-8B show that incorporating pattern-specific penalties into reinforcement learning can mitigate cross-mode misalignment while incurring a marginal task performance trade-off. Together, PatternEval and PatternRL provide an evaluation-and-training framework for aligning user-visible response patterns across hybrid-thinking interfaces.
• Abstract（参考訳）: ハイブリッド思考型マルチモーダル言語モデル(MLLM)は、単一のモデルで、熟考的思考と遅延効率の非思考的推論を交互に行うことを可能にする。 これらのモードは推論予算が異なるが、配信されたレスポンスは同じユーザ向け標準を満たすべきである。 正確性だけでは、この応答品質を特徴付けることができない可能性があるため、タスクの正確さと応答パターンの失敗を相補的な結果として評価する。 我々は,このギャップを「textbf{response-パターンアライメント」を通して研究する。 本稿では,2,415個のマルチモーダルプロンプトを,視覚知覚とグラウンド,構造化画像理解,マルチモーダル知識推論に分散させた,フェールリッチな診断ベンチマークである‘textbf{PatternEval} を紹介する。 PatternEvalは、チェーン・オブ・インプリート・リーク、レスポンスの繰り返し、論理的矛盾、パフォーマンス的推論の4つの繰り返し障害をテストする。 レスポンシブ・パターンの失敗は、異なるプロバイダのモデルに広まっており、非思考的推論は、かなり高い失敗率を示し、それによって、思考と非思考的インターフェースの体系的な相違を生み出す。 この診断に触発され、我々は強化学習中にパターン特異的な罰則を導入する応答レベル報酬モデルである \textbf{PatternRM} と \textbf{PatternRL} を開発した。 Qwen3-VL-4BとQwen3-VL-8Bの実験では、パターン特異的なペナルティを強化学習に組み込むことで、タスク性能のトレードオフを極端に達成しつつ、モード間のミスアライメントを軽減できることが示されている。 PatternEvalとPatternRLは、ハイブリッド思考インターフェース間でユーザ可視の応答パターンを調整するための評価とトレーニングのフレームワークを提供する。

関連論文リスト

• Robust Fuzzy Multi-view Learning under View Conflict [50.785852124911095]
  既存のTMVCメソッドは、トレーニングとテストの両方のフェーズにおいて、異なるビューに対して厳格なアライメントを前提としています。 この設定に対処するため、既存のTMVCメソッドには、不確実性を過小評価する、誤った判断をする、VCに過度に適合する、という3つの重要な制限がある。 本稿ではファジィ集合論に基づく新しいロバストファジィ多視点学習(R-FUML)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-23T08:52:34Z)
• Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
  In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。 我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。 帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
  論文  参考訳（メタデータ） (2026-05-04T09:18:19Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities? [61.533560295383786]
  Unified Multimodal Large Language Models (U-MLLM) は、単一のアーキテクチャ内で理解と生成を統合する。 我々は,U-MLLMが画像のモダリティにおいて同じ結果をレンダリングするために必要な場合,意味的等価性を維持することができないことを観察する。 VGUBenchは、推論ロジックを生成の忠実性から切り離すためのフレームワークである。
  論文  参考訳（メタデータ） (2026-02-27T06:23:56Z)
• CODE: A Contradiction-Based Deliberation Extension Framework for Overthinking Attacks on Retrieval-Augmented Generation [43.85448261466922]
  我々はContradiction-Based Deliberation Extension (CODE) というエンドツーエンド攻撃フレームワークを提案する。 CODEは、知識ベースに注入される中毒サンプルを構築するためのマルチエージェントアーキテクチャを開発している。 実験の結果、CODEはタスク性能を劣化させることなく5.32x-24.72倍のトークン消費を発生させることが示された。
  論文  参考訳（メタデータ） (2026-01-19T14:52:31Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• CrossCheck-Bench: Diagnosing Compositional Failures in Multimodal Conflict Resolution [20.823419395675412]
  CrossCheck-Benchは、マルチモーダル入力における矛盾検出を評価するための診断ベンチマークである。 タスクが知覚的マッチングから論理的矛盾検出に移行するにつれて、13の最先端の視覚言語モデルを評価し、一貫した性能低下を観察する。
  論文  参考訳（メタデータ） (2025-11-19T12:17:15Z)
• Think Twice: Branch-and-Rethink Reasoning Reward Model [32.70732791642558]
  本稿では,2ターンのRMであるブランチ・アンド・リコンプリート(BR-RM)について紹介する。 我々は、厳密なフォーマットチェックによる単純なバイナリ結果報酬を用いて、構造化された2ターントレース上でGRPOスタイルの強化学習を訓練する。 All-at-oncescoringinto focus, second-lookreasoning を変換することにより、BR-RMreducesjudgmentdiffusionand は微妙で連続的な誤りに対する感受性を高める。
  論文  参考訳（メタデータ） (2025-10-27T17:58:07Z)
• On Evaluating Performance of LLM Inference Serving Systems [11.712948114304925]
  ベースラインフェアネス、評価設定、メトリックデザインの3つの重要な側面で繰り返し発生するアンチパターンを特定します。 これらのアンチパターンは、その二重相の性質のため、Large Language Model (LLM)推論に固有の問題である。 分析から得られた包括的なチェックリストを提供し、これらのアンチパターンを認識して回避するためのフレームワークを構築します。
  論文  参考訳（メタデータ） (2025-07-11T20:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。