論文の概要: WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback

• arxiv url: http://arxiv.org/abs/2408.15549v2
• Date: Mon, 17 Feb 2025 06:14:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:05:24.791129
• Title: WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback
• Title（参考訳）: WildFeedback: その場でのユーザーインタラクションとフィードバックによるLLMの調整
• Authors: Taiwei Shi, Zhuoer Wang, Longqi Yang, Ying-Chun Lin, Zexue He, Mengting Wan, Pei Zhou, Sujay Jauhar, Sihao Chen, Shan Xia, Hongfei Zhang, Jieyu Zhao, Xiaofeng Xu, Xia Song, Jennifer Neville,
• Abstract要約: WildFeedbackは、大規模言語モデル(LLM)との会話中にユーザからのフィードバックをその場で活用して、好みのデータセットを自動的に作成する新しいフレームワークである。 実験の結果,WildFeedbackデータセットを微調整したLCMは,ユーザの好みに合わせて大幅に改善されていることがわかった。
• 参考スコア（独自算出の注目度）: 36.06000681394939
• License:
• Abstract: As large language models (LLMs) continue to advance, aligning these models with human preferences has emerged as a critical challenge. Traditional alignment methods, relying on human or LLM annotated datasets, are limited by their resource-intensive nature, inherent subjectivity, misalignment with real-world user preferences, and the risk of feedback loops that amplify model biases. To overcome these limitations, we introduce WildFeedback, a novel framework that leverages in-situ user feedback during conversations with LLMs to create preference datasets automatically. Given a corpus of multi-turn user-LLM conversation, WildFeedback identifies and classifies user feedback to LLM responses between conversation turns. The user feedback is then used to create examples of preferred and dispreferred responses according to users' preference. Our experiments demonstrate that LLMs fine-tuned on WildFeedback dataset exhibit significantly improved alignment with user preferences, as evidenced by both traditional benchmarks and our proposed checklist-guided evaluation. By incorporating in-situ feedback from actual users, WildFeedback addresses the scalability, subjectivity, and bias challenges that plague existing approaches, marking a significant step toward developing LLMs that are more responsive to the diverse and evolving needs of their users.
• Abstract（参考訳）: 大規模言語モデル(LLM)が進歩を続けるにつれ、これらのモデルと人間の嗜好の整合が重要な課題として浮上している。 従来のアライメント手法は、人間またはLLMアノテートデータセットに依存しており、リソース集約性、本質的な主観性、現実世界のユーザの嗜好との相違、モデルバイアスを増幅するフィードバックループのリスクによって制限されている。 これらの制限を克服するために、LLMとの会話中にin-situユーザーフィードバックを活用して好みデータセットを自動的に作成する新しいフレームワークWildFeedbackを紹介した。 マルチターンのユーザ-LLM会話のコーパスを与えられたWildFeedbackは、会話のターン間のLLM応答に対するユーザのフィードバックを特定し、分類する。 ユーザのフィードバックは、ユーザの好みに応じて、好ましくない反応の例を作成するために使用される。 実験により,WildFeedbackデータセットを微調整したLCMは,従来のベンチマークと提案したチェックリスト誘導評価の両方で証明されたように,ユーザの嗜好との整合性を大幅に向上したことが示された。 WildFeedbackは、実際のユーザからのその場からのフィードバックを取り入れることで、既存のアプローチを悩ませているスケーラビリティ、主観性、バイアスの課題に対処する。

関連論文リスト

• Reason4Rec: Large Language Models for Recommendation with Deliberative User Preference Alignment [69.11529841118671]
  本稿では,ユーザの嗜好に関する明確な推論を新たなアライメント目標として組み込んだ,新たなDeliberative Recommendationタスクを提案する。 次にReasoningを利用したRecommenderフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-02-04T07:17:54Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• Lusifer: LLM-based User SImulated Feedback Environment for online Recommender systems [0.0]
  本稿では,Lulsiferについて紹介する。LulsiferはLarge Language Models(LLMs)を利用して,シミュレーションされたユーザフィードバックを生成する新しい環境である。 Lusiferはユーザープロファイルとインタラクション履歴を合成し、推奨アイテムに対する反応と振る舞いをシミュレートする。 Lusiferは、RMSE 1.3のトレーニングデータが少なくても、ユーザの振る舞いや好みを正確にエミュレートする。
  論文  参考訳（メタデータ） (2024-05-22T05:43:15Z)
• How Reliable is Your Simulator? Analysis on the Limitations of Current LLM-based User Simulators for Conversational Recommendation [14.646529557978512]
  本稿では,対話型レコメンダシステムのためのユーザシミュレータ構築におけるLarge Language Modelsの使用制限について分析する。 会話履歴やユーザシミュレータの応答で発生するデータ漏洩は,評価結果を膨らませる結果となる。 そこで我々はSimpleUserSimを提案する。
  論文  参考訳（メタデータ） (2024-03-25T04:21:06Z)
• User-LLM: Efficient LLM Contextualization with User Embeddings [23.226164112909643]
  User-LLMは、ユーザ埋め込みを利用して、大きな言語モデルとユーザ履歴の相互作用を直接コンテキスト化する新しいフレームワークである。 提案手法では,ユーザタイムラインを直接埋め込みとして表現することで,最大78.1倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-02-21T08:03:27Z)
• RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models [17.782410287625645]
  本稿では,質問応答,機械翻訳,電子メール作成などのタスクをカバーするベンチマークRefuteBenchを提案する。 評価の目的は、モデルが反響命令の形で肯定的にフィードバックを受けられるか、会話を通してユーザー要求に一貫して従えられるかを評価することである。
  論文  参考訳（メタデータ） (2024-02-21T01:39:56Z)
• RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
  本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。 制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。 提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
  論文  参考訳（メタデータ） (2024-02-16T18:50:24Z)
• Representation Learning with Large Language Models for Recommendation [33.040389989173825]
  本稿では,大規模言語モデル (LLM) を用いた表現学習によるレコメンデータの強化を目的とした,モデルに依存しないフレームワーク RLMRec を提案する。 RLMRecには補助的なテキスト信号が組み込まれており、LLMが権限を持つユーザ/イテムプロファイリングパラダイムを開発し、LLMの意味空間と協調的関係信号の表現空間を整合させる。
  論文  参考訳（メタデータ） (2023-10-24T15:51:13Z)
• Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
  近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。 本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:12:43Z)
• Reward Constrained Interactive Recommendation with Natural Language Feedback [158.8095688415973]
  制約強化強化学習(RL)フレームワークを提案する。 具体的には,ユーザの過去の嗜好に反するレコメンデーションを検出するために,識別器を利用する。 提案するフレームワークは汎用的であり,制約付きテキスト生成のタスクにさらに拡張されている。
  論文  参考訳（メタデータ） (2020-05-04T16:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。