論文の概要: Prompt Optimization with Logged Bandit Data

• arxiv url: http://arxiv.org/abs/2504.02646v1
• Date: Thu, 03 Apr 2025 14:40:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:41.562773
• Title: Prompt Optimization with Logged Bandit Data
• Title（参考訳）: ログ付き帯域データによるプロンプト最適化
• Authors: Haruka Kiyohara, Daniel Yiming Cao, Yuta Saito, Thorsten Joachims,
• Abstract要約: クリックなどの自然なユーザフィードバックを用いて,プロンプトを用いてパーソナライズされた文を生成するために,大規模言語モデル(LLM)パイプラインを最適化する方法について検討する。 本稿では, 生成文間の類似性を生かしてポリシー勾配を推定する, カーネルベースの非政治勾配法を提案する。
• 参考スコア（独自算出の注目度）: 34.82246046104858
• License:
• Abstract: We study how to use naturally available user feedback, such as clicks, to optimize large language model (LLM) pipelines for generating personalized sentences using prompts. Naive approaches, which estimate the policy gradient in the prompt space, suffer either from variance caused by the large action space of prompts or bias caused by inaccurate reward predictions. To circumvent these challenges, we propose a novel kernel-based off-policy gradient method, which estimates the policy gradient by leveraging similarity among generated sentences, substantially reducing variance while suppressing the bias. Empirical results on our newly established suite of benchmarks demonstrate the effectiveness of the proposed approach in generating personalized descriptions for movie recommendations, particularly when the number of candidate prompts is large.
• Abstract（参考訳）: クリックなどの自然なユーザフィードバックを用いて,プロンプトを用いてパーソナライズされた文を生成するために,大規模言語モデル(LLM)パイプラインを最適化する方法について検討する。 帰納的アプローチは、プロンプト空間の政策勾配を推定するが、プロンプトの大きなアクション空間に起因する分散や、不正確な報酬予測によるバイアスに悩まされる。 これらの課題を回避するために、我々は、生成した文間の類似性を利用してポリシー勾配を推定し、バイアスを抑えながらばらつきを大幅に低減する、カーネルベースの非政治勾配法を提案する。 提案手法が映画レコメンデーションにパーソナライズされた記述を生成する場合,特に候補数が多い場合に,提案手法の有効性を実証した。

関連論文リスト

• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization [60.176008034221404]
  直接選好最適化(DPO)とその変種は、言語モデルと人間の選好の整合にますます利用されている。 以前の研究では、トレーニング中に好まれる反応の可能性が減少する傾向が見られた。 確率変位は破滅的になりうることを示し、確率質量を好ましくない反応から反対の意味の反応へとシフトさせる。
  論文  参考訳（メタデータ） (2024-10-11T14:22:44Z)
• SePPO: Semi-Policy Preference Optimization for Diffusion Alignment [67.8738082040299]
  本稿では、報酬モデルやペアの人間注釈データに頼ることなく、DMと好みを一致させる選好最適化手法を提案する。 テキスト・ツー・イメージとテキスト・ツー・ビデオのベンチマークでSePPOを検証する。
  論文  参考訳（メタデータ） (2024-10-07T17:56:53Z)
• Large Language Model Enhanced Hard Sample Identification for Denoising Recommendation [4.297249011611168]
  暗黙のフィードバックは、しばしばレコメンデーションシステムを構築するために使われる。 従来の研究では、分散したパターンに基づいてノイズの多いサンプルを識別することで、これを緩和しようと試みてきた。 大規模言語モデル強化型ハードサンプルデノゲーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-16T14:57:09Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• Defending Substitution-Based Profile Pollution Attacks on Sequential Recommenders [8.828396559882954]
  本稿では,ある脆弱な要素を選択し,それを逆数要素に置換することで,入力シーケンスを修飾する置換型逆数攻撃アルゴリズムを提案する。 また、ディリクレ近傍サンプリングと呼ばれる効率的な対角防御手法を設計する。 特に,選択した項目を1ホットエンコーディングで表現し,エンコーディングの勾配上昇を行い,トレーニング中の項目埋め込みの最悪の場合の線形結合を探索する。
  論文  参考訳（メタデータ） (2022-07-19T00:19:13Z)
• Correcting the User Feedback-Loop Bias for Recommendation Systems [34.44834423714441]
  本稿では,レコメンデーションシステムにおいて,ユーザのフィードバックループバイアスを修正するための系統的かつ動的手法を提案する。 本手法は,各ユーザの動的評価履歴の埋め込みを学習するためのディープラーニングコンポーネントを含む。 実世界のレコメンデーションシステムにおけるユーザフィードバックループバイアスの存在を実証的に検証した。
  論文  参考訳（メタデータ） (2021-09-13T15:02:55Z)
• Control Variates for Slate Off-Policy Evaluation [112.35528337130118]
  多次元動作を伴うバッチ化されたコンテキスト帯域データから政治外評価の問題について検討する。 我々は, PIと自己正規化PIの双方に対して, リスク改善を保証した新しい推定器を得る。
  論文  参考訳（メタデータ） (2021-06-15T06:59:53Z)
• Probabilistic and Variational Recommendation Denoising [56.879165033014026]
  暗黙のフィードバックから学ぶことは、推奨システムの適用において最も一般的なケースの1つである。 本稿では,暗黙のフィードバックに対する確率的・変動的推薦を提案する。 提案したDPIとDVAEを4つの最先端レコメンデーションモデルに適用し、3つのデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-05-20T08:59:44Z)
• Counterfactual Evaluation of Slate Recommendations with Sequential Reward Interactions [18.90946044396516]
  音楽ストリーミング、ビデオストリーミング、ニュースレコメンデーション、eコマースサービスは、しばしばシーケンシャルな方法でコンテンツを扱う。 したがって、適切なレコメンデーションのシーケンスの提供と評価は、これらのサービスにとって重要な問題である。 そこで本研究では,アナルアンバイアスの少ない報酬の逐次的相互作用が可能な新しい反事実推定器を提案する。
  論文  参考訳（メタデータ） (2020-07-25T17:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。