論文の概要: Conformity Mitigations in Large Language Models Lie on a Single Resistance-Receptivity Frontier

• arxiv url: http://arxiv.org/abs/2608.11247v1
• Date: Mon, 03 Aug 2026 11:12:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.304538
• Title: Conformity Mitigations in Large Language Models Lie on a Single Resistance-Receptivity Frontier
• Title（参考訳）: 単一抵抗受容フロンティア上での大規模言語モデルの整合性軽減
• Abstract要約: 間違った多数派はモデルの正しいMMLU回答の22.8%を逆転させ、GPQAは54.8%、SimpleQAは71.0%である。 モデルが最初に間違って答えた後、正しいピア回答を採用するレートであるReceptivityと組み合わせます。 最も強力な公表方法であるリフレクションは、MMLU抵抗の7.9ポイントを獲得し、レセプティビティの15.3を付与する。
• 参考スコア（独自算出の注目度）: 0.05055376568994175
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advances in language models have enabled collaborative settings in which multiple models leverage one another's capabilities, iteratively improving, transforming, and extending each other's outputs. Each agent sees what the others assert before it answers, so peer opinion competes with the model's own parametric knowledge, and a wrong majority can overturn an answer the model would otherwise get right. We measure that displacement in 23 open-weight models, 19 conditions, and three datasets, yielding more than a million graded responses. A unanimous wrong majority reverses 22.8% of a model's correct MMLU answers, 54.8% on GPQA and 71.0% on SimpleQA, and 84-89% of the reversed answers match the peers' answers. Existing mitigations aim to increase Resistance, the rate at which a model keeps its correct answer under this pressure, which is only half of what a collaborating agent needs. We pair it with Receptivity, the rate at which a model adopts a correct peer answer after initially answering incorrectly. We score six methods on both axes, four drawn from prior work and two of our own. Each gains Resistance only by losing Receptivity, and their means fall on a single Resistance-Receptivity frontier with $R^2$ between 0.80 and 0.90. Reflection, the strongest published method, gains 7.9 points of MMLU Resistance and gives up 15.3 of Receptivity. Reasoning is the one exception. On GPQA and SimpleQA it trades like the rest, but on the MMLU subjects whose answers a model can derive for itself it raises Resistance by 7.2 points and Receptivity by 9.6 at once, the only intervention we find that improves both.
• Abstract（参考訳）: 言語モデルの最近の進歩は、複数のモデルが互いに能力を活用し、反復的に改善し、変換し、互いの出力を拡張するような協調的な設定を可能にしている。 各エージェントは、他のエージェントが答える前に主張するものを見るので、ピアの意見はモデルのパラメトリックな知識と競合する。 我々は、23のオープンウェイトモデル、19の条件、3つのデータセットにおける変位を測定し、100万以上のグレードされた応答を生成する。 不正多数派はモデルの正しいMMLU回答の22.8%を逆転し、GPQAは54.8%、SimpleQAは71.0%、逆答えの84-89%はピアの回答と一致する。 既存の緩和策は、モデルが正しい回答をこの圧力の下で維持する速度である抵抗を増加させることを目的としている。 モデルが最初に間違って答えた後、正しいピア回答を採用するレートであるReceptivityと組み合わせます。 両軸で6つの方法、先行作業で4つ、独自の2つを採点します。 それぞれがレセプティビティを失うことで抵抗を得るが、その値は1つのレセプティビティ-レセプティビティフロンティア(R^2$0.80から0.90)に収まる。 最も強力な公表方法であるリフレクションは、MMLU抵抗の7.9ポイントを獲得し、レセプティビティの15.3を付与する。 推論は例外である。 GPQA と SimpleQA では、他のように取引されるが、モデルがそれ自身を導出できるMMLU の被験者では、抵抗率を7.2 ポイント、受容率を9.6 ポイント引き上げる。

関連論文リスト

• Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
  正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。 Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。 有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
  論文  参考訳（メタデータ） (2026-08-15T23:13:57Z)
• Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs [9.465306048183798]
  本稿では,解答安定性を評価するための制御プロトコルを提案する。 モデルが複数の選択問題に正しく答えた後、不正確な選択肢に対する一貫性のある議論でモデルに挑戦する。 自己貢献は相変わらずフリップ率を上昇させる。
  論文  参考訳（メタデータ） (2026-06-14T20:45:30Z)
• It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers [0.0]
  LLMエージェントのデプロイメントにおける一般的な仮定は、より構造化されたハーネスは信頼性を普遍的に改善する、というものである。 我々はこの仮説を,4つの能力層にまたがる6つのモデルにまたがる制御された432回の実験により検証した。 我々は6ラベルの障害分類を導入し、form_violationが有能なモデル障害を、 wrong_fileが低能力な障害を、それぞれ支配していることを示す。
  論文  参考訳（メタデータ） (2026-05-26T09:08:41Z)
• ARBITER: Reasoning Trajectory Basins and Majority Vote Failures in Test-Time Sampling [3.2669068153591687]
  ARBITERは、ベースモデル独自のサンプル出力、隠蔽状態、導出エビデンスのみを使用して、盆地間の相互作用をモデル化するモデルに依存しないアプローチである。 精度は78%中盤から82%中盤まで向上し、利用可能なオラクルのヘッドルームの約22%を回復する。
  論文  参考訳（メタデータ） (2026-05-25T04:07:44Z)
• No Single Best Model for Diversity: Learning a Router for Sample Diversity [69.53166985556759]
  本稿では,有効な応答の集合を包括的に抽出する手法について検討する。 本稿では,各回答に割り当てられた品質スコアを計測する指標であるtextbfdiversity Cover を紹介する。 各プロンプトには、多様な回答セットを生成する際に、他のすべてのモデルよりも大幅に優れるモデルが存在する。
  論文  参考訳（メタデータ） (2026-04-02T17:58:37Z)
• Multimodal RewardBench 2: Evaluating Omni Reward Models for Interleaved Text and Image [58.14192385042352]
  マルチモーダル・リワードベンチ2(MMRB2)は,マルチモーダル理解と(インターリーブされた)生成に対する報酬モデルの最初のベンチマークである。 MMRB2はテキスト・ツー・イメージ、画像編集、インターリーブド・ジェネレーション、マルチモーダル推論の4つのタスクにまたがる。 21のソースタスクにわたる23のモデルとエージェントから、タスク毎に1000のエキスパートアノテートされた好みペアを提供する。
  論文  参考訳（メタデータ） (2025-12-18T18:56:04Z)
• Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
  本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。 我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。 我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
  論文  参考訳（メタデータ） (2025-10-11T08:32:52Z)
• Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation [74.75716642635484]
  大規模言語モデル(LLM)は、検証可能な報酬(RLVR)からの強化学習でますます訓練されている 本稿では,ラベルのないフレームワークEVOL-RLを提案する。 EVOL-RLは、多数派のみのベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-18T17:50:04Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• Are DeepSeek R1 And Other Reasoning Models More Faithful? [2.0429566123690455]
  我々は,Qwen-2.5,Gemini-2,DeepSeek-V3-Baseの3つの推論モデルを評価する。 MMLU質問に対する解答に、その解答がどう影響するかをモデルで記述できるかどうかを検証する。 推論モデルは、テストされたすべての非推論モデルよりもはるかに確実にそれらに影響を与えるキューを記述する。
  論文  参考訳（メタデータ） (2025-01-14T14:31:45Z)
• Reliable Visual Question Answering: Abstain Rather Than Answer Incorrectly [100.60560477391732]
  我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。 私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。 最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。 これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
  論文  参考訳（メタデータ） (2022-04-28T16:51:27Z)
• Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected Reasoning [50.114651561111245]
  モデルは、しばしば、複数のサポート事実をまたいで情報を接続することなく、正しい回答を生成するためにデータセットアーティファクトを利用する。 我々は、支持事実のサブセットにまたがる不連結推論のような望ましくない振る舞いを定式化する。 実験によると、読書理解設定においてマルチホップQAがあまり進歩していないことが示唆されている。
  論文  参考訳（メタデータ） (2020-05-02T11:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。