論文の概要: Not Just RLHF: Why Alignment Alone Won't Fix Multi-Agent Sycophancy

• arxiv url: http://arxiv.org/abs/2605.12991v2
• Date: Sat, 16 May 2026 19:42:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.27786
• Title: Not Just RLHF: Why Alignment Alone Won't Fix Multi-Agent Sycophancy
• Title（参考訳）: RLHFだけじゃなく、アライメントアライメントがマルチエージェントのシクロファンシーを修復しない理由
• Authors: Adarsh Kumarappan, Ananya Mujoo,
• Abstract要約: 事前訓練されたベースモデルは、インストラクトの変種と同じ置換パターンを示し、インストラクトよりも高い収率を平均化する。 このウィンドウの上のパッチは、クリーンにプレッシャーされたP(正しい)ギャップの96%を復元する。 2つの凝縮活性化空間介入は、新しいサイコファンシー回路を活性化するのではなく、圧力がクリーンな推論特性を抑制することを示している。
• 参考スコア（独自算出の注目度）: 0.7212939068975618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based multi-agent pipelines flip from correct to incorrect answers under simulated peer disagreement at rates we term yield, a vulnerability widely attributed to RLHF-induced sycophancy. We test this attribution across four model families and find it largely wrong: pretrained base models exhibit the same substitution pattern as their Instruct variants, averaging higher yield than Instruct. Using activation patching, we localize the corruption to a narrow mid-layer window where attention carries the causal weight and MLP contribution is negligible; patching above this window restores 96% of the clean-to-pressured P(correct) gap. The attack surface decomposes into two independent factors (channel framing and consensus strength) whose interaction produces a 47.5 percentage-point yield gap at majority consensus, preserved across jury sizes $N \in \{4, 5, 6\}$. Two converging activation-space interventions show that pressure suppresses clean-reasoning features rather than activating a new sycophancy circuit. A single correctly-arguing dissenter reduces yield by 54-73 percentage points across all framings tested, whereas the strongest prompt-level defense fails on attack variants outside its design surface. Mitigations should target the mechanism, structured dissent at the pipeline level, rather than prompt-level defenses.
• Abstract（参考訳）: LLMベースのマルチエージェントパイプラインは、RLHFによる梅毒に起因する脆弱性である収率でのシミュレーションされたピア不一致の下で、正解から誤解へ反転する。 事前訓練されたベースモデルは、インストラクトの変種と同じ置換パターンを示し、インストラクトよりも平均的に高い収率を示す。 アクティベーションパッチを用いて、注意が因果重みを持ち、MPP寄与が無視される狭い中層窓に汚職を局在させ、この窓の上のパッチは、クリーン・プレッシャーされたP(正しい)ギャップの96%を復元する。 攻撃面は2つの独立した因子(チャネルフレーミングとコンセンサス強度)に分解され、相互作用は多数決で47.5パーセンテージの利得ギャップを生じ、陪審員の規模は$N \in \{4, 5, 6\}$である。 2つの凝縮活性化空間介入は、新しいサイコファンシー回路を活性化するのではなく、圧力がクリーンな推論特性を抑制することを示している。 正しく配置された1つのディサーターは、試験された全てのフレーミングにおいて54-73ポイントの収率を減少させる一方、最も強力なプロンプトレベルの防御は設計面外への攻撃に失敗する。 緩和は、素早いレベルの防御ではなく、パイプラインレベルで構造化された不満を標的にすべきである。

関連論文リスト

• When More Parameters Hurt: Foundation Model Priors Amplify Worst-Client Disparity Under Extreme Federated Heterogeneity [0.0]
  フェデレートラーニング(FL)は、分散プライベートデータに基づく基礎モデル(FM)の微調整に益々使われている。 低ランク適応 (LoRA) を用いたTextCNN (2.7Mパラメータ) と DistilBERT の比較を行った。 極端なラベルスキュー (alpha = 0.1) の下では、DistilBERT+LoRAは、25倍のパラメータと広範囲な事前訓練があるにもかかわらず、TextCNNの32.2%のギャップよりも50.1% -- 56%大きい最悪の精度ギャップを生じる。
  論文  参考訳（メタデータ） (2026-05-09T15:22:08Z)
• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)
• Correct, Concise and Complete: Multi-stage Training For Adaptive Reasoning [11.179446105672461]
  教師付き微調整と強化学習を組み合わせた多段階効率的な推論手法を提案する。 提案手法は,8Bモデルでは平均28%,32Bモデルでは40%の応答長を減少させる。 より複雑な最先端の効率的な推論手法に比べて、優れたトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-01-06T12:31:51Z)
• TRYLOCK: Defense-in-Depth Against LLM Jailbreaks via Layered Preference and Representation Engineering [0.0]
  提案するTRYLOCKは,推論スタックをまたいだ4つのメカニズムを組み合わせた,最初のディフェンス・イン・ディースアーキテクチャである。 Mistral-7B-Instructが249プロンプト攻撃セットに対して評価された場合、TRYLOCKは88.0%の相対的なASR減少を達成する。
  論文  参考訳（メタデータ） (2026-01-06T03:02:20Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Parrot: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs [0.0]
  PARROT (Persuasion and Agreement Robustness Rating of Output Truth) は、ユーザの社会的圧力下での精度の劣化を測定するための堅牢性にフォーカスしたフレームワークである。 我々は13のドメインにまたがる1,302のMMLUスタイルの多重選択質問とドメイン固有の権威テンプレートを用いて22のモデルを評価する。
  論文  参考訳（メタデータ） (2025-11-21T13:01:28Z)
• DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models [50.21378052667732]
  我々は、ステップ内およびステップ間ダイナミクスという2つの異なる次元にわたるジェイルブレイク攻撃に対して、dLLM脆弱性の詳細な分析を行う。 デュアルステージアプローチによる脆弱性に対処する,トレーニング不要な防御フレームワークであるDiffuGuardを提案する。
  論文  参考訳（メタデータ） (2025-09-29T05:17:10Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。