論文の概要: Same Evidence, Different Answer: Auditing Order Sensitivity in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2606.26079v1
• Date: Wed, 24 Jun 2026 17:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.419324
• Title: Same Evidence, Different Answer: Auditing Order Sensitivity in Multimodal Large Language Models
• Title（参考訳）: 同一のエビデンス, 異なる回答:多モーダル大言語モデルにおける順序感性の検討
• Abstract要約: マルチモーダルな大規模言語モデルの5面監査であるFacet-Probeを紹介する。 監査対象の18のMLLMはいずれも順序不変ではないことが分かりました。 MLLMの標準報告軸として,クロスオーダーフリップ率を提案する。
• 参考スコア（独自算出の注目度）: 29.673427534201654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard benchmarks for multimodal large language models (MLLMs) score each item on one canonical ordering and miss whether order-irrelevant shuffling changes the answer, a baseline reliability property called for by emerging AI evaluation guidelines. We introduce Facet-Probe, a five-facet audit (option, evidence-chunk, document-rank, image-set, and mixed-modality ordering) of 18 frontier and open-weight MLLMs. A Bayesian item-response model separates ordering noise from per-facet bias, and a same-ordering control estimates the decoder-stochastic floor for observed flips. We find that none of the 18 MLLMs we audit are order-invariant: screened per-facet panel-mean flip rates span 24-50%. A Gemini same-ordering control at temperature 0 estimates a substantial ordering excess over a same-input decoder-noise floor in verified cells. Capability predicts but does not eliminate flips; the best model still flips on 13.4% of trials. In our Gemini mitigation tests, training-free prompt changes are modality-conditional and do not transfer from text to visual reasoning. These results suggest that prompt-level mitigation alone is unlikely to provide general order robustness, motivating future work on training-time and architectural approaches. We propose cross-ordering flip rate as a standard reporting axis for MLLMs.
• Abstract（参考訳）: MLLM(Multimodal large language model)の標準ベンチマークでは、各項目を1つの標準順序でスコアし、順序に関係のないシャッフルが答えを変えるかどうかを見逃す。 本稿では,フロンティアとオープンウェイトMLLMの5面監査(オプション,エビデンス・チャンク,文書ランク,画像セット,混合モダリティ順序)であるFacet-Probeを紹介する。 ベイズアイテム応答モデルでは, 面当たりの雑音と面当たりの雑音を分離し, 観測されたフリップに対するデコーダ-確率的フロアを同順序制御により推定する。 画面毎のパネル平均フリップレートは24～50%である。 温度0におけるジェミニの同順序制御は、検証されたセル内の同一入力のデコーダ-ノイズフロア上のかなりのオーダー過剰を推定する。 能力は予測されるが、フリップを排除しない。最高のモデルは依然として13.4%のトライアルで反転する。 Geminiの緩和テストでは、トレーニング不要のプロンプト変更はモダリティ条件であり、テキストから視覚的推論へ転送しない。 これらの結果は、迅速なレベル緩和だけでは、一般的な秩序の堅牢性を提供し、トレーニング時間とアーキテクチャのアプローチに関する将来の取り組みを動機付けることはありそうにないことを示唆している。 MLLMの標準報告軸として,クロスオーダーフリップ率を提案する。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Position Bias is Hidden Behind Ceiling Effects: A Permutation Diagnostic for LLM Benchmarks [0.0]
  inspect_ai- 評価フレームワークのオープンソース拡張である inspect_permute を紹介します。 質問ごとに全問順順順順順に表示される。 ブートストラップの信頼区間を持つ位置バイアスのchi-squared / Cramer Vシグネチャを報告している。
  論文  参考訳（メタデータ） (2026-07-23T02:45:02Z)
• AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
  AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。 これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。 NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
  論文  参考訳（メタデータ） (2026-06-15T13:50:26Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior [16.249731576262167]
  我々は,対話型マルチLLMシステムにおいて,同じファミリラベルが振舞いを予測するかどうかを検討する。 推理蒸留したLlamaチェックポイントのヘッジは、どのベースパートナーが返信するかによって18%シフトすることがわかった。 その結果,ポストトレーニングレシピをマルチLLMパネル合成のための第1級軸として同定した。
  論文  参考訳（メタデータ） (2026-05-30T07:26:26Z)
• Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling [20.47884338846419]
  AIエージェントは、未知のエージェントと自然言語で交渉し、トランザクションします。 このような相互作用では、相手のLSM、プロンプト、制御ロジック、ルールベースのフォールバックが隠される。 エージェントがいくつかのインタラクションから、不慣れな相手の次の決定を予測できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-05-12T17:09:32Z)
• BiAxisAudit: A Novel Framework to Evaluate LLM Bias Across Prompt Sensitivity and Response-Layer Divergence [22.315546054051143]
  大規模言語モデルのバイアス監査は、EU AI Actなどのガバナンスフレームワーク内で運用されている。 このプロトコルでは、各バイアススコアを2つの軸上での信頼性推定とともに報告する。
  論文  参考訳（メタデータ） (2026-05-09T16:26:49Z)
• DPRM: A Plug-in Doob h transform-induced Token-Ordering Module for Diffusion Language Models [76.12556589212666]
  本稿では拡散言語モデルのためのプラグイントークン順序付けモジュールDPRM(Doob h-transform Process Reward Model)を紹介する。 DPRMは信頼性駆動のプログレッシブオーダから始まり、徐々にDoobh変換プロセスリワード誘導オーダへと移行する。 抽出可能な最適化の仮定の下では、DPRMはランダムおよび信頼のみの順序よりもサンプル複雑さの優位性が得られる。
  論文  参考訳（メタデータ） (2026-04-27T11:50:26Z)
• ABCD: All Biases Come Disguised [4.603755953026689]
  MCQ(Multiple-choice Question)ベンチマークは標準的な評価手法である。 本稿では,各質問のラベルを一様無順序ラベルに置き換える,単純なバイアス低減評価プロトコルを提案する。 このプロトコルは、平均モデルの性能を最小限に抑えつつ、平均精度のばらつきを3倍に減らし、置換に答えるロバスト性を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-19T15:12:33Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Cautious Next Token Prediction [62.74127603725369]
  我々は、CNTP(Cautious Next Token Prediction)と呼ばれる新しいトレーニングフリーデコード戦略を提案する。 復号過程において、モデルが特定のステップで比較的高い予測エントロピーを持つ場合、独立にステップから始まる複数の試行をサンプリングし、句読点に遭遇する際に停止する。 提案するCNTPアプローチは,既存の標準復号方式よりも明確なマージンで一貫した性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-07-03T05:49:18Z)
• Confidence Diagram of Nonparametric Ranking for Uncertainty Assessment in Large Language Models Evaluation [20.022623972491733]
  大きな言語モデル(LLM)のランク付けは、$N$のポリシーに基づいてアライメントを改善する効果的なツールであることが証明されている。 本稿では,言語モデルのランキングの中から仮説テストのための新しい推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-07T02:34:30Z)
• Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
  大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。 モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。 我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
  論文  参考訳（メタデータ） (2023-11-14T23:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。