論文の概要: One Model, Multiple Goals: Adaptive Multi-Objective Learning for E-commerce Dialogue Systems

• arxiv url: http://arxiv.org/abs/2606.09293v1
• Date: Mon, 08 Jun 2026 10:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.914049
• Title: One Model, Multiple Goals: Adaptive Multi-Objective Learning for E-commerce Dialogue Systems
• Title（参考訳）: 一つのモデル、複数の目標:Eコマース対話システムのための適応型多目的学習
• Authors: Mingzhe Li, Jing Xiang, Enguo Zhou, Lang Gao, Tai Li, Qishen Zhang, Xiangliang Zhang, Xiuying Chen,
• Abstract要約: 適応型多目的強化学習フレームワークMOREを提案する。 MOREは推論精度と言語自然性を共同で最適化する。 ByteDanceとMultiWOZ 2.2ベンチマークの2つの実世界の対話システム上でMOREを評価する。
• 参考スコア（独自算出の注目度）: 33.515535808117775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dialogue systems in e-commerce scenarios often need to satisfy multiple objectives: accurately reasoning over user profiles (e.g., eligibility, credit limit) to ensure correct decision-making and user state interpretation, while also generating natural and faithful responses. These goals are complementary but not identical. In this work, we propose MORE, an adaptive Multi-Objective REinforcement learning framework that jointly optimizes reasoning accuracy and linguistic naturalness. Our preliminary experiments show that directly mixing rewards with diverging optimization dynamics can cause oscillations and unstable learning. Thus, instead of optimizing a single mixed reward, we treat reasoning functions as constraints that guide policy optimization. At inference time, the system directly generates responses without explicit reasoning steps, while still benefiting from reasoning-enhanced scaffold and avoiding additional inference overhead. To better balance linguistic objectives during response generation, we introduce an adaptive multi-reward mechanism that aggregates signals such as fluency and naturalness and dynamically reweighs them via gradient feedback. We evaluate MORE on two real-world dialogue systems at ByteDance and the MultiWOZ 2.2 benchmark, where it consistently outperforms strong baselines. In 14-day online experiments on ByteDance production traffic, MORE improves overall and reached conversion by 16.53% and 30.09%, while increasing user satisfaction and reducing handoff rates. Notably, in a human-machine comparison, MORE recovers about 60% of the incremental conversion lift achieved by human agents.
• Abstract（参考訳）: eコマースのシナリオにおける対話システムは、ユーザプロファイル(例えば、適格性、信用限度)を正確に推論し、正しい意思決定とユーザ状態の解釈を保証すると同時に、自然で忠実な応答を生成するという、複数の目的を満たす必要がある。 これらの目標は相補的であるが、同一ではない。 そこで本研究では,推論精度と言語自然性を協調的に最適化する適応型多目的強化学習フレームワークMOREを提案する。 予備実験により,最適化力学のばらつきによる報酬の直接混合は振動や不安定な学習を引き起こすことが示された。 したがって、1つの混合報酬を最適化する代わりに、政策最適化を導く制約として推論関数を扱います。 推論時に、システムは推論ステップを明示せずに直接応答を生成し、推論の強化された足場から恩恵を受けながら、追加の推論オーバーヘッドを避ける。 応答生成時の言語的目的のバランスを改善するために,適応的マルチリワード機構を導入する。 ByteDanceとMultiWOZ 2.2ベンチマークの2つの実世界の対話システム上でMOREを評価する。 ByteDanceの生産トラフィックに関する14日間のオンライン実験では、MOREは全体的な改善と16.53%と30.09%の変換を実現した。 特に、人間と機械の比較において、MOREは人間のエージェントによって達成されたインクリメンタル変換リフトの約60%を回復する。

関連論文リスト

• GDPO-Listener: Expressive Interactive Head Generation via Auto-Regressive Flow Matching and Group reward-Decoupled Policy Optimization [5.5806589487812746]
  GDPO-Listenerは高度に表現力のある発話・聴取動作生成を実現する新しいフレームワークである。 本稿では,安定した教師付き学習を可能にする自動回帰フローマッチングアーキテクチャを提案する。 異なるFLAMEパラメータ群間で報酬正規化を分離することにより、GDPOは高分散表現世代を明示的にインセンティブ化する。
  論文  参考訳（メタデータ） (2026-03-26T04:36:27Z)
• STARec: An Efficient Agent Framework for Recommender Systems via Autonomous Deliberate Reasoning [54.28691219536054]
  我々は、自律的な熟考的推論機能を備えたレコメンデータシステムを支援する、ゆっくり考えられた拡張エージェントフレームワークSTARecを紹介する。 我々は,先進的推論モデルと嗜好整合型報酬形成から構造化知識の蒸留を組み合わせた2段階のパラダイムであるアンカー強化訓練を開発する。 MovieLens 1MとAmazon CDsベンチマークの実験では、STARecは最先端のベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-08-26T08:47:58Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)
• Semantic-Preserving Adversarial Attacks on LLMs: An Adaptive Greedy Binary Search Approach [15.658579092368981]
  大規模言語モデル(LLM)は、ユーザ入力を洗練させ、応答精度を向上させるために、グラフィカルユーザインタフェース(GUI)における自動プロンプト工学に依存している。 本稿では, セマンティック安定性を維持しつつ, 共通的なプロンプト最適化機構をシミュレートするアダプティブ・グレディ・バイナリ・サーチ(AGBS)手法を提案する。
  論文  参考訳（メタデータ） (2025-05-26T15:41:06Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Uncertain Multi-Objective Recommendation via Orthogonal Meta-Learning Enhanced Bayesian Optimization [30.031396809114625]
  本稿では,ルールベースの精度駆動システムから行動認識,不確実な多目的RSに至るまで,RSの自律性を5つの異なるレベルに分類する新しい枠組みを提案する。 個人の好みに基づいて複数の目的を動的に識別し、最適化し、より倫理的でインテリジェントなユーザー中心のレコメンデーションを促進するアプローチを提案する。
  論文  参考訳（メタデータ） (2025-02-18T08:10:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。