論文の概要: Optimizing Sparse Outcomes Through Dense Behavioral Signals via Value-Guided Preference Distillation

• arxiv url: http://arxiv.org/abs/2609.14648v1
• Date: Sun, 13 Sep 2026 16:32:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 12:40:38.834988
• Title: Optimizing Sparse Outcomes Through Dense Behavioral Signals via Value-Guided Preference Distillation
• Title（参考訳）: 値誘導選好蒸留による高密度行動信号によるスパース出力の最適化
• Abstract要約: 多目的強化学習問題として長軸対話最適化を定式化する。 本研究では, 高密度補助行動信号のスカラー化合成により, 効果的なクレジット割り当てとスパース結果の最適化が可能であることを示す。 本研究は, 蒸留法により, 長期使用者の保持が著しく向上し, 同時に, 肯定的行動や治療・プロセスマーカーが強化されることを実証する。
• 参考スコア（独自算出の注目度）: 5.277024349608834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Aligning multi-turn dialogue agents is usually framed as matching turn-level human preferences, yet direct optimization of long-term outcomes is often ineffective and prone to reward hacking. We formulate long-horizon dialogue optimization as a multi-objective reinforcement learning problem and train a multi-head value model that predicts a vector of observed user behaviors across multiple look-ahead horizons. Our findings demonstrate that a scalarized composite of dense auxiliary behavioral signals enables effective credit assignment and optimization of sparse outcomes. However, optimizing unconstrained single-objective proxies might induce policy degradations that are harmful when the agent is exposed to real users. To identify these failure modes prior to deployment, we establish a safety framework combining counterfactual user simulation with a validated dialogue-level outcome model to evaluate preference weightings and policy optimization methods. Finally, we demonstrate that distilling multi-objective value preferences into the policy via reference-anchored preference optimization matches on-policy online RL at a small fraction of its compute budget. Live A/B testing confirms that our distilled policy significantly improves long-term user retention, while simultaneously enhancing the positive behaviors and therapeutic-process markers.
• Abstract（参考訳）: マルチターン対話エージェントのアライメントは通常、ターンレベルの人間の好みにマッチするものとしてフレーム化されるが、長期的な結果の直接的な最適化は、しばしば効果がなく、ハッキングに報いる傾向がある。 我々は,多目的強化学習問題として長軸対話最適化を定式化し,複数視野地平線上で観測されたユーザ行動のベクトルを予測するマルチヘッド値モデルを訓練する。 本研究は, 高密度補助行動信号のスカラー化合成により, 効果的なクレジット割り当てとスパース結果の最適化が可能であることを示す。 しかし、制約のない単一目的プロキシの最適化は、エージェントが実際のユーザに露出した場合に有害なポリシー劣化を引き起こす可能性がある。 デプロイ前にこれらの障害モードを識別するために,検証された対話レベルの結果モデルと反現実的ユーザシミュレーションを組み合わせた安全フレームワークを構築し,優先重み付けとポリシー最適化の手法を評価する。 最後に, 参照型優先最適化による多目的値優先の蒸留が, オンラインRL上での計算予算のごく一部と一致することを実証した。 生A/B試験では, 蒸留法により長期使用者の保持が著しく向上し, 同時に, 肯定的挙動や治療過程のマーカーが向上することを確認した。

関連論文リスト

• Think2Go: Generative Next POI Recommendation with LLM Reasoning [57.37706163990998]
  Next Point-of-Interest (POI)レコメンデーションタスクは、ユーザの行動選好パターンを過去のチェックインからマイニングすることに焦点を当て、次の目的地へのパーソナライズされた提案を提供する。 既存の手法は、次のPOIを予測するために、浅いコンテキスト情報と手作りの特徴相互作用に依存している。 本稿では,SID表現の理解を深め,テスト時間計算による多様な時空間パターンを探索する新しい次世代POIレコメンデーションフレームワークThink2Goを提案する。
  論文  参考訳（メタデータ） (2026-07-31T03:52:20Z)
• Long-Term Optimization for Large-Scale Generative Retrieval with Off-Policy REINFORCE [0.0]
  セッションレベルのシーケンシャルな意思決定問題としてレコメンデーションを定式化する。 本稿では、事前収集データに基づいて、外部のREINFORCEを用いて生成検索者を訓練するための自己回帰的アプローチを提案する。
  論文  参考訳（メタデータ） (2026-07-02T23:13:36Z)
• Trait-Aware Policy Optimization for Autoregressive Multi-Trait Essay Scoring [27.596544379317436]
  Trait-Aware Policy Optimization (TAPO)は、自動回帰型マルチトレーディングスコアリングに適したポストトレーニングフレームワークである。 提案手法は,グローバルスコアリングの整合性,特性レベルの精度,フォーマットの妥当性,トランジット間の依存性の保存を組み合わせ,サンプルと特性の両面から報酬を分解する。
  論文  参考訳（メタデータ） (2026-05-25T11:41:37Z)
• Meta-Aligner: Bidirectional Preference-Policy Optimization for Multi-Objective LLMs Alignment [35.36029664224222]
  多目的アライメント(Multi-Objective Alignment)は、大規模言語モデルと、多様でしばしば相反する人間の価値との整合を目標とする。 本稿では,Meal,すなわちMeta ALignerを提案する。
  論文  参考訳（メタデータ） (2026-04-27T08:36:13Z)
• GroupDPO: Memory efficient Group-wise Direct Preference Optimization [29.469340103121144]
  バックプロパゲーション中にサンプルをデカップリングしながら勾配を保ちながらメモリ効率の高いグループワイズ最適化アルゴリズムを導入する。 オフラインとオンラインのアライメント設定の両方で、複数のレスポンスを活用することでシングルペアトレーニングを継続的に上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-17T00:56:59Z)
• How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics [65.67654005892469]
  適切なインスタンス依存サンプリングは、より強力なランキング保証を得られる一方で、スキュードオン政治サンプリングは、構造化された嗜好の下で過剰な濃度を誘導できることを示す。 次に、学習したポリシーが将来のサンプリングおよび参照ポリシーにフィードバックする反復的なアライメントダイナミクスを分析する。 我々の理論的な洞察は直接選好最適化にまで拡張され、我々が捉えた現象はより広範な選好アライメント手法に共通していることを示している。
  論文  参考訳（メタデータ） (2026-02-12T17:11:08Z)
• RecNet: Self-Evolving Preference Propagation for Agentic Recommender Systems [109.9061591263748]
  RecNetは、レコメンデータシステムのための自己進化的な好みの伝達フレームワークである。 関連ユーザやアイテム間で、リアルタイムの好み更新を積極的に伝達する。 逆相では、フィードバック駆動の伝搬最適化機構がマルチエージェント強化学習フレームワークをシミュレートする。
  論文  参考訳（メタデータ） (2026-01-29T12:14:31Z)
• On Symmetric Losses for Robust Policy Optimization with Noisy Preferences [55.8615920580824]
  この研究は、人間からのフィードバックから強化学習のコアコンポーネントである報酬モデリングに焦点を当てている。 本稿では, 騒音条件下でのロバストな政策最適化のための基本的枠組みを提案する。 対称的損失は,ノイズラベルの下でも政策最適化を成功させることができることを証明した。
  論文  参考訳（メタデータ） (2025-05-30T15:30:43Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Understanding Likelihood Over-optimisation in Direct Alignment Algorithms [20.043560907227018]
  ダイレクトアライメントアルゴリズム(DAA)は、ヒューマンフィードバックによるオンライン強化学習の代替として登場した。 これらのアルゴリズムは、より良い(好ましくない)完了を生成する可能性を高めつつ、悪い(好ましくない)完了を阻止することを目的としている。 本研究は,最先端DAAにおける完成可能性とモデル性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-15T15:14:22Z)
• An Efficient Continuous Control Perspective for Reinforcement-Learning-based Sequential Recommendation [14.506332665769746]
  本稿では,UnderlinetextbfEfficient UnderlinetextbfContinuous UnderlinetextbfControl framework (ECoC)を提案する。 まず、統計的に検証された仮定に基づいて、正規化されたユーザとアイテム空間から抽象化された新しい統一されたアクション表現を提案する。 このプロセスでは、統合された行動の観点から戦略的な探索と方向性の制御が慎重に設計され、最終的な勧告決定に不可欠である。
  論文  参考訳（メタデータ） (2024-08-15T09:26:26Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。