論文の概要: The Wording Effect: Quantifying Two-Way Drift in LLM Benchmark Performance

• arxiv url: http://arxiv.org/abs/2608.11694v1
• Date: Wed, 12 Aug 2026 06:05:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.478598
• Title: The Wording Effect: Quantifying Two-Way Drift in LLM Benchmark Performance
• Title（参考訳）: 単語の効果: LLMベンチマーク性能における二方向ドリフトの定量化
• Abstract要約: ベンチマークスコアは、各問題の1つのフレーズから得られます。 意味を保ちながら問題を表現し、固定された解答は、両方向のモデルの解答を日常的に反転させることを示す。
• 参考スコア（独自算出の注目度）: 4.548581557764304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A benchmark score comes from a single phrasing of each problem. That single phrasing is treated as if it stood for the whole space of ways the same problem could be asked, but it does not. We show that rephrasing a problem while keeping its meaning and answer fixed routinely flips a model's answer in both directions, so some failures become successes and some successes become failures. We call this drift. BenchDrift generates meaning-preserving variations of benchmark problems along four axes, namely linguistic, referential, pragmatic, and structural, and measures how often, and why, correctness flips under each. Across eight models and three benchmarks (GSM8K, MMLU, MATH-Hard), we observe that drift is large in both directions. Two findings stand out. First, phrasing sensitivity does not fade as models get better. Instead, it changes sign. Weak models gain more from rephrasing than they lose, while strong models lose far more than they gain. We find that the best models on a benchmark are therefore the ones whose scores depend most on the wording they happened to be given. Second, the models largely agree on which rephrasings cost the most correct answers even though they differ in how much they drift, so fragility belongs to the rephrasing and not to the model. Furthermore, rephrasing breaks answers a model was confident about, whether the problem is made shorter or longer. Code and Data: https://github.com/IBM/BenchDrift/tree/demo-ui
• Abstract（参考訳）: ベンチマークスコアは、各問題の1つのフレーズから得られます。 この1つの言い回しは、同じ問題を問うことができるような空間全体に対するものであるかのように扱われるが、そうではない。 その意味を保ちながら問題を表現し、不定期に答えることが、モデルの回答を両方向にひっくり返すことを示し、いくつかの失敗は成功し、いくつかの成功は失敗となる。 これを漂流と呼ぶ。 BenchDriftは、言語、参照、プラグマティック、構造という4つの軸に沿ったベンチマーク問題の意味保存のバリエーションを生成し、各軸がどれだけ頻繁に、なぜ、正しいかを測定する。 8つのモデルと3つのベンチマーク(GSM8K, MMLU, MATH-Hard)で、ドリフトが両方向に大きいことを観測した。 2つの発見がある。 第一に、モデルが良くなるにつれて、表現感度は低下しない。 代わりに、記号を変更します。 弱いモデルはリフレッシングで負けるよりも多く、強いモデルは負けるよりはるかに多くを失う。 したがって、ベンチマークで最高のモデルは、スコアが与えられた言葉に最も依存しているモデルであることが分かりました。 第二に、どのリフレージングが最も正しい答えになるかは、どのリフレージングがどれだけドリフトするかが異なるにもかかわらず、ほぼ一致しているため、フラッグリティはリフレージングに属するもので、モデルに属さない。 さらに、モデルが自信を持って答えを言い換えると、問題は短くなるか長くなるかが分かる。 コードとデータ:https://github.com/IBM/BenchDrift/tree/demo-ui

関連論文リスト

• Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning [0.0]
  Agonは、互いに競合する2つのモデルのグレーダーを作成する。 役割の交互に、ひとつのソリューションをドラフトし、もう1つは解決しながらそれを読み、それぞれが他方を解き放つことで報酬を得る。 今のところ、モデルはテキストで話し、次のステップは、潜在空間で一緒に推論できるようにすることです。
  論文  参考訳（メタデータ） (2026-07-08T17:49:14Z)
• The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer [14.274182889933272]
  大規模な言語モデルはメモリ使用量と推論コストを削減しますが、標準ベンチマークが見逃す障害も発生します。 正しい答えが消去されるのか、それとも、上位の出力として答えが生成しにくくなるのか? ベンチマークの錯覚を見いだす。高いスパーシティプルーニング(特にワンダ)の下では、モデルは、複数のスコアで正しい答えを選択しながら、欲張りのオープンジェネレーションで失敗することが多い。
  論文  参考訳（メタデータ） (2026-06-16T07:14:52Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy [41.17236645999555]
  本研究では,現実的な質問応答や数学的推論タスクにおいて,意味保存的言い回しの下でモデル解がどう変化するかを検討する。 4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。 多くの質問に対して、モデルはフレーズによって正しい答えと間違った答えを交互に行い、ミスマッチ率は23%以上に達する。
  論文  参考訳（メタデータ） (2026-05-18T16:45:13Z)
• Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
  動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。 本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。 結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2025-11-28T18:59:58Z)
• MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
  MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。 主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。 以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
  論文  参考訳（メタデータ） (2025-09-15T19:06:10Z)
• Movie Facts and Fibs (MF$^2$): A Benchmark for Long Movie Understanding [97.05584099530226]
  MF$2$は、モデルがフル長の映画から重要な物語情報を理解し、統合し、思い出せるかどうかを評価するための新しいベンチマークである。 各ペアについて、モデルは真と偽のクレームの両方を正しく識別する必要がある。 実験の結果、オープンウェイトモデルとクローズド・オブ・ザ・アーティファクトモデルの両方が人間のパフォーマンスにかなり劣っていることがわかった。
  論文  参考訳（メタデータ） (2025-06-06T17:58:36Z)
• MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
  我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。 我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。 我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
  論文  参考訳（メタデータ） (2025-05-01T17:41:49Z)
• Are DeepSeek R1 And Other Reasoning Models More Faithful? [2.0429566123690455]
  我々は,Qwen-2.5,Gemini-2,DeepSeek-V3-Baseの3つの推論モデルを評価する。 MMLU質問に対する解答に、その解答がどう影響するかをモデルで記述できるかどうかを検証する。 推論モデルは、テストされたすべての非推論モデルよりもはるかに確実にそれらに影響を与えるキューを記述する。
  論文  参考訳（メタデータ） (2025-01-14T14:31:45Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。