論文の概要: One Axis, No Brake: Self-Knowledge Limits the Filtering of Harmful Peer Conformity in LLMs

• arxiv url: http://arxiv.org/abs/2609.18998v1
• Date: Fri, 17 Jul 2026 19:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.59023
• Title: One Axis, No Brake: Self-Knowledge Limits the Filtering of Harmful Peer Conformity in LLMs
• Title（参考訳）: ブレーキのない一軸:自己知識はLLMにおける有害なピア整合性のフィルタリングを制限する
• Abstract要約: エージェントが互いのミスをキャッチできるため、マルチエージェントLLMシステムはより信頼性が高いことが期待されている。 しかし、ピアプレッシャーは両方の方法を削減する。間違った答えを修正するのと同じ修正が正しい答えを覆す可能性がある。 このブレーキは、単純な理由で作るのが難しいことを示しています。最初の回答が正しいときに、リビジョンは正確に有害であるので、それをブロックするかは、モデルがすでに正しいかどうかを知るのと同じです。
• 参考スコア（独自算出の注目度）: 1.60468902992145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent LLM systems are expected to be more reliable because agents can catch each other's mistakes. But peer pressure cuts both ways: the same correction that fixes a wrong answer can overturn a right one. The tempting safeguard is a brake that keeps the beneficial revisions and blocks the harmful ones. We show this brake is hard to build, for a simple reason: a revision is harmful exactly when the original answer was right, so deciding whether to block it is the same as knowing whether the model was already correct. This turns the open-ended hunt for a brake into one measurable quantity, the model's self-knowledge: any brake built from a deploy-time signal is a correctness probe in disguise, and self-knowledge is far from perfect (AUROC $\approx 0.64$--$0.89$ across six model families). We call this ceiling the wall. Even white-box steering of the model's own correctness direction does not breach it: it changes how often the model revises, but harmful and beneficial revisions move together. At population scale the wall becomes the cliff: when most agents start wrong, debate amplifies the shared mistake into a confident, wrong consensus. In our multiple-choice societies, more agents, more model diversity, and a stronger member do not fix it. What helps is adding information before the revision, not filtering after it. Local agreement is not global correctness.
• Abstract（参考訳）: エージェントが互いのミスをキャッチできるため、マルチエージェントLLMシステムはより信頼性が高いことが期待されている。 しかし、ピアプレッシャーは両方の方法を削減する。間違った答えを修正するのと同じ修正が正しい答えを覆す可能性がある。 テンションセーフガードは、有益なリビジョンを保持し、有害なリビジョンをブロックするブレーキである。 このブレーキは、単純な理由で作るのが難しいことを示しています。最初の回答が正しいときに、リビジョンは正確に有害であるので、それをブロックするかは、モデルがすでに正しいかどうかを知るのと同じです。 AUROC $\approx 0.64$-0.89$(AUROC $\approx 0.64$--0.89$)=====================================================================================================================================================================================。 私たちはこの天井を壁と呼んでいる。 モデル自体の正しさの方向をホワイトボックスで操作しても、それを破ることはありません。 人口規模では、壁は崖となり、ほとんどのエージェントが失敗し始めると、議論は共有された誤りを自信深く間違った合意へと増幅する。 私たちの多職種社会では、より多くのエージェント、よりモデルの多様性、より強いメンバーがそれを修正しません。 修正前に情報を追加するのに役立ち、その後はフィルタリングしない。 地域合意はグローバルな正当性ではない。

関連論文リスト

• Conformity Breaks Conformal Prediction [1.3583317564926913]
  同型証明は、LLMが単独で回答し、同じLLMが全会一致で間違った答えを主張するピアを見ている場合、無効である場合に有効である。 マルチエージェントLLMシステムにおいて,このシフトが共形予測を静かに破ることを示す。
  論文  参考訳（メタデータ） (2026-09-03T20:05:47Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning [6.241883798820154]
  モデル間コンセンサス(モデル間コンセンサス)について検討し、独立に訓練されたモデル(各モデルが一度解ける程度)が最終解に一致するかを検討した。 パネルをLCM判定として扱い、合意の構造は、他のモデルのスコアではなく、検証信号である。 3つのパネル統計値から平均絶対誤差0.03$までのコンセンサス精度を予測する。
  論文  参考訳（メタデータ） (2026-07-11T05:57:54Z)
• Easier to Mislead Than to Correct: Harmful and Beneficial Revision in LLM Conformity [1.4889674786265437]
  ピア合意は、当初間違ったモデルを修正するよりも、最初に正しいモデルを誤解させるのがずっと簡単であることを示す。 これらの結果から,マルチエージェントLLMシステムは単に集約するのではなく,ピア回答を検証すべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T03:42:00Z)
• CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
  CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。 Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。 自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
  論文  参考訳（メタデータ） (2026-03-18T14:38:55Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。