論文の概要: Understanding and Reducing Misalignment in Persuasion Optimization

• arxiv url: http://arxiv.org/abs/2610.16070v1
• Date: Mon, 12 Oct 2026 02:19:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.290583
• Title: Understanding and Reducing Misalignment in Persuasion Optimization
• Title（参考訳）: 説得最適化における誤りの理解と軽減
• Abstract要約: 本研究では、説得のための強化学習訓練が、モデルによる不整合戦略の使用にどのように影響するかを検討する。 受信者信念シフトのみに最適化された送信者モデルは、ゲームごとの異なる不整合戦略の平均数を25%以上増加させることがわかった。
• 参考スコア（独自算出の注目度）: 27.13847491071894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier models are now trained for complex multi-agent tasks, from running a company to engaging in negotiations. These tasks necessitate training models to be persuasive. But what does this optimization pressure mean for model alignment? In this work, we study how reinforcement learning (RL) training for persuasion affects models' use of misaligned strategies such as evidence fabrication and belief coercion, and what techniques can reduce such misalignment. We find that optimizing sender models solely for receiver belief shifts causes the average number of distinct misaligned strategies used per game to increase by more than 25%, and fabrications per game increase to more than 4 times relative to pre-RL models. We compare various mitigation approaches, including stronger strategy guidance, clean demonstrations, penalizing misaligned strategy usage, and improving the model's ability to detect fabrications. We find that navigating the persuasiveness-misalignment trade-off in this setting is challenging, with the best trade-offs coming from combining guidance on aligned persuasion strategies with reward penalties on misalignment. Overall, our work provides a testbed for assessing misalignment stemming from RL-based persuasion training and shows concrete paths for reducing misalignment. Importantly, it highlights that without direct intervention, persuasion-involved RL environments are likely to naturally lead to large increases in the use of misaligned strategies.
• Abstract（参考訳）: Frontierモデルは現在、企業の運営から交渉まで、複雑なマルチエージェントタスクのためにトレーニングされています。 これらのタスクは、説得力のあるトレーニングモデルを必要とする。 しかし、この最適化プレッシャーはモデルアライメントに何を意味するのか? 本研究では,説得のための強化学習(RL)トレーニングが,エビデンス作成や信念強制といった不整合戦略の使用にどのように影響するか,また,そのような不整合を軽減できる技術について検討する。 受信者信念シフトのみに最適化された送信者モデルは、ゲーム毎の異なる不整合戦略の平均数が25%以上増加し、ゲーム毎の製作量は、前RLモデルと比較して4倍以上に増加することが判明した。 我々は,より強力な戦略ガイダンス,クリーンなデモ,不正な戦略利用のペナルティ化,ファブリケーションの検出能力の向上など,さまざまな緩和アプローチを比較した。 この環境での説得性とミスアライメントのトレードオフをナビゲートすることは困難であり、最適のトレードオフは、一致したパーサライメント戦略に関するガイダンスと、ミスアライメントに対する報酬のペナルティを組み合わせたものである。 全体として,本研究は,RLに基づく説得訓練から生じる誤診を評価するためのテストベッドを提供し,誤診を減らすための具体的な経路を示す。 重要なことは、直接的な介入がなければ、説得に関わるRL環境が自然に、不整合戦略の使用を大きく増加させる可能性があることを強調している。

関連論文リスト

• Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs [52.129885179495226]
  本研究では,RL学習大言語モデル(LLM)の融合動作を従来のSFT学習モデルと比較し,系統的に検討した。 RLはタスクの競合を著しく低減し、マージ後のパフォーマンス劣化を低減します。
  論文  参考訳（メタデータ） (2026-07-24T07:08:57Z)
• Training Language Models for Bilateral Trade with Private Information [47.25254982913256]
  貿易の利益を達成するためには、個人、戦略的余剰の合理性、協力が必要である。 本研究では,大規模言語モデルがイベント駆動シミュレータ内のツールコールを介して交渉する構造化交渉環境を開発する。 この環境は、フロンティアモデルのベンチマークと、強化学習によるオープンウェイトモデルのトレーニング環境という2つの目的を果たす。
  論文  参考訳（メタデータ） (2026-04-10T03:04:20Z)
• Are LLMs Vulnerable to Preference-Undermining Attacks (PUA)? A Factorial Analysis Methodology for Diagnosing the Trade-off between Preference Alignment and Real-World Validity [45.92643973404507]
  我々は,協調型モデルが,操作的プロンプト戦略のクラスであるpreference-Undermining Attacks (PUA) に対して脆弱であるかどうかを検討する。 驚くべきことに、より高度なモデルは、時にはマニピュティブなプロンプトに影響を受けやすい。
  論文  参考訳（メタデータ） (2026-01-10T15:16:23Z)
• When Actions Teach You to Think: Reasoning-Action Synergy via Reinforcement Learning in Conversational Agents [2.689316553293938]
  Supervised Fine-tuning (SFT) は、下流タスクにおける大規模言語モデル(LLM)の性能を改善する最も効果的な方法の1つである。 本稿では,LLMがツールの呼び出しと対話エージェントの応答生成の両方を導く推論ステップを生成するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-12-12T04:44:40Z)
• On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models [73.10315509190623]
  最近の強化学習技術は、言語モデルにおいて顕著な推論改善をもたらした。 ポストトレーニングが、事前トレーニング中に取得したものを超えて、モデルの推論能力を真に拡張するかどうかは不明だ。 プレトレーニング,ミッドトレーニング,およびRLベースのポストトレーニングの因果的貢献を分離する,完全に制御された実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T18:12:10Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Toward Optimal LLM Alignments Using Two-Player Games [86.39338084862324]
  本稿では,対戦相手と防御エージェントの反復的相互作用を含む2エージェントゲームのレンズによるアライメントについて検討する。 この反復的強化学習最適化がエージェントによって誘導されるゲームに対するナッシュ平衡に収束することを理論的に実証する。 安全シナリオにおける実験結果から、このような競争環境下での学習は、完全に訓練するエージェントだけでなく、敵エージェントと防御エージェントの両方に対する一般化能力の向上したポリシーにつながることが示されている。
  論文  参考訳（メタデータ） (2024-06-16T15:24:50Z)
• Efficient Model-agnostic Alignment via Bayesian Persuasion [13.42367964190663]
  本稿では,モデル非依存かつ軽量なベイズ型説得アライメントフレームワークを提案する。 説得プロセスでは、小さなモデル(アドバイザ)が情報項目(すなわち状態)を観察し、大きなモデル(Receiver)を説得して、改善された応答を引き出す。 GPT-2は様々なモデルの性能を大幅に向上させ,数学的推論能力の平均16.1%,コード生成能力は13.7%向上した。
  論文  参考訳（メタデータ） (2024-05-29T02:57:07Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。