論文の概要: The Past, Present and Better Future of Feedback Learning in Large Language Models for Subjective Human Preferences and Values

• arxiv url: http://arxiv.org/abs/2310.07629v1
• Date: Wed, 11 Oct 2023 16:18:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 21:50:19.407436
• Title: The Past, Present and Better Future of Feedback Learning in Large Language Models for Subjective Human Preferences and Values
• Title（参考訳）: 主観的人間選好と価値のための大規模言語モデルにおけるフィードバック学習の過去・現在・未来
• Authors: Hannah Rose Kirk, Andrew M. Bean, Bertie Vidgen, Paul R\"ottger, Scott A. Hale
• Abstract要約: 我々は、ACLとarXivリポジトリを中心に95の論文を描いて、人間のフィードバックから学習するための既存のアプローチを調査した。 私たちは、現在の技術とプラクティスの概要と、フィードバックを使う動機を説明します。 我々は,5つの未解決概念と実践的課題を提起することによって,大規模言語モデルにおけるフィードバック学習のよりよい未来を奨励する。
• 参考スコア（独自算出の注目度）: 16.62409302626101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human feedback is increasingly used to steer the behaviours of Large Language Models (LLMs). However, it is unclear how to collect and incorporate feedback in a way that is efficient, effective and unbiased, especially for highly subjective human preferences and values. In this paper, we survey existing approaches for learning from human feedback, drawing on 95 papers primarily from the ACL and arXiv repositories.First, we summarise the past, pre-LLM trends for integrating human feedback into language models. Second, we give an overview of present techniques and practices, as well as the motivations for using feedback; conceptual frameworks for defining values and preferences; and how feedback is collected and from whom. Finally, we encourage a better future of feedback learning in LLMs by raising five unresolved conceptual and practical challenges.
• Abstract（参考訳）: 人間のフィードバックは、大規模言語モデル(LLM)の振る舞いをコントロールするためにますます使われています。 しかし、特に主観的な人間の嗜好や価値観に対して、効率的で効果的で偏見のない方法でフィードバックを収集し、組み込む方法が不明確である。 本稿では,ACL と arXiv リポジトリを中心に,95 件の論文を参考に,人間のフィードバックから学ぶための既存のアプローチを調査し,まず,人間のフィードバックを言語モデルに統合するための過去,LLM 以前の傾向を要約する。 第二に、現在の技術とプラクティスの概要と、フィードバックを使う動機、価値と選好を定義するための概念的フレームワーク、フィードバックの収集方法、そして誰からのフィードバックです。 最後に,5つの未解決概念と実践的課題を提起することにより,LLMにおけるフィードバック学習のよりよい未来を奨励する。

関連論文リスト

• Learning from Naturally Occurring Feedback [25.266461597402056]
  チャットモデルと対話する際にユーザが自然に含むフィードバックを抽出するスケーラブルな方法を提案する。 我々は,自然に発生するフィードバックの存在を確認するために,会話データを手動でアノテートした。 100万件以上の会話に本手法を適用し,数十万件のフィードバックサンプルを得た。
  論文  参考訳（メタデータ） (2024-07-15T17:41:34Z)
• A Survey on Human Preference Learning for Large Language Models [81.41868485811625]
  近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
  論文  参考訳（メタデータ） (2024-06-17T03:52:51Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation [68.9440575276396]
  この調査は、人間のフィードバックを利用して自然言語生成を改善した最近の研究の概要を提供することを目的としている。 まず、フィードバックの形式化を包括的に導入し、この形式化に続いて既存の分類学研究を特定・整理する。 第二に、フィードバックを形式や目的によってどのように記述するかを議論し、フィードバック(トレーニングやデコード)を直接使用したり、フィードバックモデルをトレーニングしたりするための2つのアプローチについて取り上げる。 第3に、AIフィードバックの生まれたばかりの分野の概要を紹介します。これは、大きな言語モデルを利用して、一連の原則に基づいて判断し、必要最小限にします。
  論文  参考訳（メタデータ） (2023-05-01T17:36:06Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。