論文の概要: Enhanced Whole Page Optimization via Mixed-Grained Reward Mechanism-Adapted Language Models

• arxiv url: http://arxiv.org/abs/2506.09084v1
• Date: Tue, 10 Jun 2025 08:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.667252
• Title: Enhanced Whole Page Optimization via Mixed-Grained Reward Mechanism-Adapted Language Models
• Title（参考訳）: 混合グラインド・リワード機構適応言語モデルによる全ページ最適化
• Authors: Xinyuan Wang, Liang Wu, Yanjie Fu,
• Abstract要約: 本稿では,ページレベルの報酬とアイテムレベルの報酬を混合した,報酬に基づく微調整手法を提案する。 PageLLMはベースラインを上回り、1000万人以上のオンラインA/Bテストで0.44%のGMVアップを達成した。
• 参考スコア（独自算出の注目度）: 21.43957709683293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing the presentation of search and recommendation results is crucial to enhancing user experience and engagement. Whole Page Optimization (WPO) plays a pivotal role in this process, as it directly influences how information is surfaced to users. While Pre-trained Large Language Models (LLMs) have demonstrated remarkable capabilities in generating coherent and contextually relevant content, fine-tuning these models for complex tasks like WPO presents challenges. Specifically, the need for extensive human-annotated data to mitigate issues such as hallucinations and model instability can be prohibitively expensive, especially in large-scale systems that interact with millions of items daily. In this work, we address the challenge of fine-tuning LLMs for WPO by using user feedback as the supervision. Unlike manually labeled datasets, user feedback is inherently noisy and less precise. To overcome this, we propose a reward-based fine-tuning approach, PageLLM, which employs a mixed-grained reward mechanism that combines page-level and item-level rewards. The page-level reward evaluates the overall quality and coherence, while the item-level reward focuses on the accuracy and relevance of key recommendations. This dual-reward structure ensures that both the holistic presentation and the critical individual components are optimized. We validate PageLLM on both public and industrial datasets. PageLLM outperforms baselines and achieves a 0.44\% GMV increase in an online A/B test with over 10 million users, demonstrating its real-world impact.
• Abstract（参考訳）: ユーザエクスペリエンスとエンゲージメントを高めるためには,検索とレコメンデーションの結果の提示の最適化が不可欠である。 WPO(Whole Page Optimization)はこのプロセスにおいて重要な役割を担っている。 事前訓練された大規模言語モデル(LLM)は、一貫性とコンテキストに関連のあるコンテンツを生成する際、顕著な能力を示してきたが、WPOのような複雑なタスクのためにこれらのモデルを微調整することは困難である。 具体的には、幻覚やモデル不安定といった問題を緩和するために、人間に注釈を付けた広範なデータが必要であることは、特に毎日何百万ものアイテムと対話する大規模システムにおいて、違法にコストがかかる可能性がある。 本稿では,ユーザフィードバックを監視対象として利用することで,WPOのための微調整 LLM の課題に対処する。 手動でラベル付けされたデータセットとは異なり、ユーザからのフィードバックは本質的にノイズが多く、正確ではない。 そこで本研究では,ページレベルの報酬とアイテムレベルの報酬を混合した報酬機構を用いた,報酬に基づく微調整手法であるPageLLMを提案する。 ページレベルの報酬は全体的な品質と一貫性を評価し、アイテムレベルの報酬はキーレコメンデーションの正確性と関連性に焦点を当てる。 この双対逆構造は、全体論的なプレゼンテーションと臨界個々のコンポーネントの両方が最適化されることを保証する。 パブリックおよびインダストリアル両方のデータセット上でPageLLMを検証する。 PageLLMはベースラインを上回り、1000万人以上のユーザによるオンラインA/Bテストで0.44\%のGMVアップを達成した。

関連論文リスト

• Multi-agents based User Values Mining for Recommendation [52.26100802380767]
  効率的なユーザ値抽出のためのゼロショットマルチLLM協調フレームワークを提案する。 本研究は,本質的な意味を保ちながら,項目内容のコンデンスにテキスト要約手法を適用した。 幻覚を緩和するために,評価役と監督役の2つの特殊エージェントの役割を導入する。
  論文  参考訳（メタデータ） (2025-05-02T04:01:31Z)
• Reasoning LLMs for User-Aware Multimodal Conversational Agents [3.533721662684487]
  社会ロボティクスにおけるパーソナライゼーションは、効果的な人間とロボットの相互作用を促進するために重要である。 本稿では,ユーザ認識型対話エージェントのための新しいフレームワークUSER-LLM R1を提案する。 提案手法では,チェーン・オブ・シンク(CoT)推論モデルを統合し,ユーザの好みや視覚言語モデルを反復的に推測する。
  論文  参考訳（メタデータ） (2025-04-02T13:00:17Z)
• Pistis-RAG: Enhancing Retrieval-Augmented Generation with Human Feedback [41.88662700261036]
  RAGシステムは、セマンティックな関連性だけでは生成品質の向上を保証していない場合に制限に直面している。 我々は、LLMと人間の嗜好をよりよく整合させるために、コンテンツ中心のアプローチで設計された新しいRAGフレームワークであるPristis-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-21T08:52:11Z)
• InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
  Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。 本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。 InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-02-14T17:49:07Z)
• Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
  LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。 本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
  論文  参考訳（メタデータ） (2023-11-21T02:01:01Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• ICPE: An Item Cluster-Wise Pareto-Efficient Framework for Recommendation Debiasing [7.100121083949393]
  そこで本研究では,クラスタ単位の多目的最適化の観点から,推薦の偏りの中心的テーマについて検討する。 トレーニングプロセスで人気が異なるさまざまなアイテムクラスタ上での学習のバランスをとることを目的とした,モデルに依存しないフレームワークであるItem Cluster-Wiseを提案する。 より詳しくは、推奨モデルが人気が異なるすべてのアイテムクラスタのバランスをとるべきであるとして、アイテムクラスタの最適化ターゲットを定義します。
  論文  参考訳（メタデータ） (2021-09-27T09:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。