論文の概要: Implicit Beliefs as Scalable Process Rewards for Strategic Persuasion

• arxiv url: http://arxiv.org/abs/2610.33527v1
• Date: Sat, 24 Oct 2026 08:08:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.354329
• Title: Implicit Beliefs as Scalable Process Rewards for Strategic Persuasion
• Title（参考訳）: 戦略的説得のためのスケーラブルなプロセスリワードとしての暗黙の信念
• Abstract要約: マルチターン戦略的説得のための大規模言語モデル(LLM)の訓練は2つの障害に直面している。 本稿では,現実的な非単調軌道を生成する説得シミュレーション環境PersuArenaを紹介する。 本稿では,Relative Policy Optimization (Relative Policy Optimization, Probe-RPO) のオンラインフレームワークであるProbe-RPO (Probe-RPO) によるプロセスリワードを提案する。
• 参考スコア（独自算出の注目度）: 42.43231479540383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models (LLMs) for multi-turn strategic persuasion faces two coupled obstacles: (i) realistic simulation of psychologically grounded persuadees, and (ii) dense, faithful supervision for credit assignment in strategic dialogues. Outcome-only rewards are sparse and uninformative about which conversational moves drove success, while LLM-judge process rewards are expensive and decoupled from the underlying interaction dynamics. We address both challenges with a unified framework. First, we introduce PersuArena, a persuasion simulation environment that produces realistic, non-monotonic trajectories. Second, building directly on this environment, we propose Process Rewards via Online Belief Elicitation for Relative Policy Optimization (Probe-RPO), an online RL framework that converts the persuadee's internal state into dense process rewards. At each turn, three introspective probes are read from the frozen persuadee's logits, yielding a multi-dimensional reward signal that is faithfully aligned with persuasion dynamics. With extensive experiments on PersuArena spanning healthcare, financial advising, workplace management, education, and personal relationships, we demonstrate that our Probe-RPO achieves the full acceptance rate of 52.5%, compared with the 35.8% for the strongest GRPO ablation and 25.8% for the best off-the-shelf LLM. We also conduct comprehensive analyses on the generalization across persuadee models and the persuasion dynamics across conversations. Our work offers a promising paradigm that can provide effective process supervision for strategic dialogue.
• Abstract（参考訳）: マルチターン戦略的説得のための大規模言語モデル(LLM)の訓練は2つの障害に直面している。 一 心理的根拠のある説得者の現実的なシミュレーション、及び (二)戦略対話における信用割当の密集した忠実な監督 LLM-judgeプロセスの報酬は高価であり、基礎となる相互作用のダイナミクスとは切り離されている。 両方の課題に統一されたフレームワークで対処します。 まず,現実的な非単調軌道を生成する説得シミュレーション環境PersuArenaを紹介する。 第2に、この環境を直接構築する上で、説得者の内部状態を密なプロセス報酬に変換するオンラインRLフレームワークであるオンライン相対政策最適化(Probe-RPO)によるプロセス報酬を提案する。 それぞれのターンで、3つの内観プローブが凍結された説得者の対物から読み出され、多次元の報酬信号が説得力学に忠実に整合している。 医療、金融アドバイス、職場管理、教育、個人関係にまたがるPersuArenaに関する広範な実験により、私たちのProbe-RPOは、最強のGRPOアブレーションの35.8%、最強のLLMの25.8%と比較して、52.5%の完全な受け入れ率を達成したことを実証した。 また、説得モデル間の一般化と会話間の説得ダイナミクスを包括的に分析する。 私たちの仕事は、戦略的対話に効果的なプロセス監視を提供する、有望なパラダイムを提供します。

関連論文リスト

• Belief Cascades Drive Persuasion in LLM Agent Networks [71.17605142402785]
  本研究では,実世界のego-networkトポロジに根ざしたLLMエージェントのネットワーク上で,ゴール指向の説得者がどのようにスタンスをシフトするかを検討する。 直接露光は、競合走における次のラウンドの姿勢変化を確実に予測し、ピアリレーは小さいが測定可能な影響をもたらすことを示す。 これらの結果は、多エージェントの説得を軌跡レベルのプロセスと露出レベルのプロセスとして評価することを主張する。
  論文  参考訳（メタデータ） (2026-08-25T21:01:19Z)
• Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs [11.978588496675327]
  一つの目的の説得的議論がモデル精度をほぼゼロに分解するのに十分であることを示す。 我々は、この脅威を敵の説得として形式化し、敵の強化学習フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-08-12T04:11:22Z)
• SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution [82.31558282651811]
  複雑な対人相互作用をナビゲートするソーシャルインテリジェンスは、言語エージェントに根本的な課題を提示する。 既存のアプローチでは、言語モデルを直接使用してエピソードレベルの報酬を分配する。 協調ゲーム理論に基づく新しい原理的枠組みであるSAVOIRを提案する。
  論文  参考訳（メタデータ） (2026-04-21T02:08:25Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• ChatShopBuddy: Towards Reliable Conversational Shopping Agents via Reinforcement Learning [88.87305027895657]
  本研究では,現実シナリオにおけるショッピングエージェントの強化学習に基づく最適化について検討する。 エージェントは、客観的指標(生産的正確性)、主観的品質(説得性)、成果報酬(最終応答品質)、プロセス報酬(ツール効率)にまたがる複数の相互依存目標を同時に満たさなければならない。 実験の結果、我々のRL学習エージェントであるChatShopBuddyは、一般的な推論に依存する大きなモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-03-06T09:18:51Z)
• AI-Salesman: Towards Reliable Large Language Model Driven Telemarketing [79.0112532518727]
  我々はTeleSalesCorpusをリリースした。 次に、デュアルステージアーキテクチャを特徴とする新しいフレームワークであるAI-Salesmanを提案する。 提案したAI-Salesmanは,自動測定と総合的な人的評価の両方において,ベースラインモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-11-15T09:44:42Z)
• Make an Offer They Can't Refuse: Grounding Bayesian Persuasion in Real-World Dialogues without Pre-Commitment [37.956665725390884]
  単ターン対話設定における自然言語へのベイジアン説得(BP)の適用について検討する。 本フレームワークは,情報スキーマを明確に概説するコミットメントコミュニケーション機構を備えている。 提案手法では,FNLBPとFNLBPの2つの変種を評価し,非BP基線と非BP基線の両方に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2025-10-15T10:26:02Z)
• Optimizing for Persuasion Improves LLM Generalization: Evidence from Quality-Diversity Evolution of Debate Strategies [1.6163129903911513]
  大規模言語モデル(LLM)は、真理に富んだ回答を出力するために最適化され、しばしば過度に適合し、一般化に失敗する不安定な推論を生み出す。 DebateQDは,様々なカテゴリにまたがる多様な議論戦略を進化させる,最小品質多様性(QD)進化アルゴリズムである。 提案手法は,真理最適化の試験性能に適合または超越しながら,最大で13.94%の列車-試験一般化ギャップを達成可能であることを示す。
  論文  参考訳（メタデータ） (2025-10-07T13:20:51Z)
• Bot Wars Evolved: Orchestrating Competing LLMs in a Counterstrike Against Phone Scams [0.8466004732265869]
  ボット・ウォーズ (Bot Wars) は、Large Language Models (LLMs) scam-baiters を用いて、シミュレーションされた対話を通して電話詐欺に対処するフレームワークである。 我々は,3,200件のスカム・ダイアログのデータセットを用いて,人間のスカム・バイティング・インタラクションの179時間に対する検証を行った。
  論文  参考訳（メタデータ） (2025-03-10T08:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。