論文の概要: Learning from Online User Feedback for Shopping Agents

• arxiv url: http://arxiv.org/abs/2608.11604v1
• Date: Wed, 12 Aug 2026 03:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.441848
• Title: Learning from Online User Feedback for Shopping Agents
• Title（参考訳）: ショッピングエージェントのオンラインフィードバックから学ぶ
• Abstract要約: 大規模言語モデルに基づくショッピングエージェントは、現実のeコマースプラットフォームにますます多くデプロイされている。 既存のアプローチは、ユーザ-イテムインタラクションや合成優先データなど、オフラインのトレーニング信号に依存している。 ショッピングエージェントが人間のアノテーションを使わずに実際のオンラインインタラクションログから直接学習できるフレームワークであるLOFAを提案する。
• 参考スコア（独自算出の注目度）: 54.03311028861336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model-based shopping agents are increasingly deployed in real-world e-commerce platforms, generating massive amounts of user interaction logs that provide valuable supervision for improving these agents. However, existing approaches primarily rely on offline training signals, such as user-item interactions or synthetic preference data, while largely overlooking the rich supervision contained in users' natural conversational feedback. Moreover, the available online feedback is heterogeneous, sparse, and noisy, making it difficult to transform into reliable learning signals automatically. To address these challenges, we propose LOFA, a framework that enables shopping agents to learn directly from real online interaction logs without human annotation. LOFA combines reinforcement learning over verifiable purchase outcomes with feedback-aware on-policy distillation, which identifies users'in-dialogue directives and converts them into dense token-level supervision. These complementary objectives capture both collaborative behavioral patterns and user-specific preferences. Extensive experiments on real-world e-commerce logs demonstrate that LOFA consistently improves recommendation quality, response helpfulness, and user-satisfaction alignment over strong baselines, highlighting the effectiveness of learning shopping agents from real online user feedback.
• Abstract（参考訳）: 大規模言語モデルに基づくショッピングエージェントは、現実のEコマースプラットフォームにますますデプロイされ、これらのエージェントを改善する上で貴重な監視を提供する大量のユーザインタラクションログが生成される。 しかし、既存のアプローチは、主にユーザとイテムのインタラクションや合成嗜好データといったオフラインのトレーニング信号に依存し、ユーザによる自然な会話フィードバックに含まれる豊富な監視をほとんど見落としている。 さらに、利用可能なオンラインフィードバックは異質でスパースでノイズが多く、信頼性の高い学習信号への変換が困難になる。 これらの課題に対処するために,ショッピングエージェントが人間のアノテーションを使わずに,実際のオンラインインタラクションログから直接学習できるフレームワークであるLOFAを提案する。 LOFAは、検証可能な購入結果に対する強化学習と、ユーザの対話中の指示を識別し、密集したトークンレベルの監視に変換する、ポリスの蒸留を併用する。 これらの相補的な目的は、協調的な行動パターンとユーザ固有の嗜好の両方をキャプチャする。 実世界のeコマースログに関する大規模な実験により、LOFAは、強力なベースライン上での推奨品質、応答支援、ユーザ満足度を一貫して改善し、実際のオンラインユーザフィードバックからショッピングエージェントを学習することの有効性を強調している。

関連論文リスト

• User Feedback Provides a Unique Signal that LLMs Can not Detect [25.849928795741672]
  ユーザからのフィードバックが、改善のための非常に実用的なシグナルであることを実証します。 フィードバックインフォームドリビジョンでは,ベースラインリビジョンよりもはるかに高いレートで目標課題を解決できることが示されている。
  論文  参考訳（メタデータ） (2026-09-02T17:42:44Z)
• World Model-Guided Reinforcement Learning via Counterfactual User Engagement Simulation [43.27233360158595]
  ユーザ中心エージェントの強化学習は、オンラインフィードバック収集のコスト、レイテンシ、リスクによって制限される。 We propose World Model-Guided Reinforcement Learning via counterfactual user engagement Simulation (WMG-RL)。 UEWMは、ドメイン間で信頼性があり、転送可能な報酬信号を提供する。
  論文  参考訳（メタデータ） (2026-09-01T10:59:41Z)
• REFINE: Real-world Exploration of Interactive Feedback and Student Behaviour [12.059739840538638]
  本稿では、ローカルにデプロイ可能なマルチエージェントフィードバックシステムであるREFINEを紹介し、フィードバックを対話的なプロセスとして扱う。 REFINEは、人力判断器を用いて、台座フィードバック生成剤とLSM-as-a-judge-guided regeneration loopを併用する。 本研究は,多エージェント・ツール拡張型フィードバックシステムの有効性と有効性を示すものである。
  論文  参考訳（メタデータ） (2026-03-31T01:48:08Z)
• Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization [61.641777037967366]
  プロアクティブな大規模言語モデル(LLM)エージェントは、複数のターンで積極的に計画し、クエリし、相互作用することを目的としている。 エージェント強化学習(RL)は、マルチターン環境でエージェントを訓練するための有望なソリューションとして登場した。 本稿では,行動強化と情報収集能力の強化を両立させたエージェントRLフレームワークであるBAOを提案する。
  論文  参考訳（メタデータ） (2026-02-11T20:40:43Z)
• RecoWorld: Building Simulated Environments for Agentic Recommender Systems [55.979427290369216]
  エージェントレコメンデータシステムに適したシミュレーション環境を構築するための青写真であるRecoWorldを提示する。 ユーザシミュレータは、推奨項目をレビューし、その考え方を更新し、潜在的なユーザ切り離しを感知すると、反射指示を生成する。 エージェント推奨者は、これらのユーザ命令と推論トレースを取り入れ、ダイナミックなフィードバックループを作成することで、そのレコメンデーションに適応する。
  論文  参考訳（メタデータ） (2025-09-12T16:44:34Z)
• Reinforcement Learning from User Feedback [28.335218244885706]
  本稿では,大規模言語モデルとユーザの好みを整合させるフレームワークであるReinforcement Learning from User Feedback (RLUF)を紹介する。 報奨モデル P[Love] をトレーニングし, LLM 応答がラブ反応を受ける可能性を予測する。 P[Love]は肯定的なフィードバックの増加を予測し,将来のユーザ行動の信頼性の高いオフライン評価手段として機能することを示す。
  論文  参考訳（メタデータ） (2025-05-20T22:14:44Z)
• Enhancing User-Oriented Proactivity in Open-Domain Dialogues with Critic Guidance [35.15965694815852]
  オープンドメイン対話システムは自然な会話を生み出すことを目的としている。 既存の大きな言語モデル(LLM)は、ユーザのチャットの好みを積極的に理解できない。 ユーザ指向のプロアクティブ性を高めるために,ユーザ指向プロアクティブ(UPC)を提案する。
  論文  参考訳（メタデータ） (2025-05-18T09:59:22Z)
• Reinforced Interactive Continual Learning via Real-time Noisy Human Feedback [59.768119380109084]
  本稿では,AIモデルがリアルタイムフィードバックから新たなスキルを動的に学習する対話型連続学習パラダイムを提案する。 大規模言語モデル(LLM)を活用した強化型対話型連続学習フレームワークRiCLを提案する。 我々のRiCLアプローチは、最先端のオンライン連続学習とノイズラベル学習の既存の組み合わせを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-15T03:22:03Z)
• Search-Based Interaction For Conversation Recommendation via Generative Reward Model Based Simulated User [117.82681846559909]
  会話レコメンデーションシステム(CRS)は、マルチターンインタラクションを使用してユーザの好みを捉え、パーソナライズされたレコメンデーションを提供する。 本稿では,CRSと自動インタラクションを行うための生成報酬モデルに基づくシミュレーションユーザGRSUを提案する。
  論文  参考訳（メタデータ） (2025-04-29T06:37:30Z)
• Trust-Oriented Adaptive Guardrails for Large Language Models [9.719986610417441]
  ガードレールは、有害または有害な応答を抑えることで、大きな言語モデル(LLM)が人間の価値と整合することを保証するように設計されている。 既存のガードレールには、さまざまなユーザグループのニーズを満たすための、十分に確立された方法論が欠如している。 ユーザ信頼度に基づいて,機密コンテンツへの動的アクセスを適度に行うための適応ガードレール機構を導入する。
  論文  参考訳（メタデータ） (2024-08-16T18:07:48Z)
• Continual Learning for Instruction Following from Realtime Feedback [23.078048024461264]
  我々は,協調作業中のユーザからのフィードバックから,指示追従エージェントを継続的に訓練するためのアプローチを提案し,展開する。 対話中、人間のユーザは自然言語を使ってエージェントに指示し、指示に従ってエージェントを観察するときにリアルタイムのバイナリフィードバックを提供する。 我々は、ユーザのフィードバックを即時報酬に変換する、文脈的帯域幅学習アプローチを設計する。 我々は、何千もの人間とエージェントの相互作用を通じて評価し、時間とともに命令の実行精度が15.4%向上したことを示す。
  論文  参考訳（メタデータ） (2022-12-19T18:39:43Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。