論文の概要: A Survey on Human Preference Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.11191v2
• Date: Tue, 18 Jun 2024 08:18:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 11:51:14.567769
• Title: A Survey on Human Preference Learning for Large Language Models
• Title（参考訳）: 大規模言語モデルに対する人間の嗜好学習に関する調査研究
• Authors: Ruili Jiang, Kehai Chen, Xuefeng Bai, Zhixuan He, Juntao Li, Muyun Yang, Tiejun Zhao, Liqiang Nie, Min Zhang,
• Abstract要約: 近年の多目的大言語モデル(LLM)の急激な増加は、より有能な基礎モデルと人間の意図を優先学習によって整合させることに大きく依存している。 本調査では、選好フィードバックのソースとフォーマット、選好信号のモデリングと使用、および、整列 LLM の評価について述べる。
• 参考スコア（独自算出の注目度）: 81.41868485811625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent surge of versatile large language models (LLMs) largely depends on aligning increasingly capable foundation models with human intentions by preference learning, enhancing LLMs with excellent applicability and effectiveness in a wide range of contexts. Despite the numerous related studies conducted, a perspective on how human preferences are introduced into LLMs remains limited, which may prevent a deeper comprehension of the relationships between human preferences and LLMs as well as the realization of their limitations. In this survey, we review the progress in exploring human preference learning for LLMs from a preference-centered perspective, covering the sources and formats of preference feedback, the modeling and usage of preference signals, as well as the evaluation of the aligned LLMs. We first categorize the human feedback according to data sources and formats. We then summarize techniques for human preferences modeling and compare the advantages and disadvantages of different schools of models. Moreover, we present various preference usage methods sorted by the objectives to utilize human preference signals. Finally, we summarize some prevailing approaches to evaluate LLMs in terms of alignment with human intentions and discuss our outlooks on the human intention alignment for LLMs.
• Abstract（参考訳）: 近年の多目的大言語モデル(LLM)の急増は、より能力の高い基礎モデルと人間の意図との整合性に大きく依存している。 関連する多くの研究にもかかわらず、人間の嗜好がどのようにLLMに導入されるかという視点は限定的であり、人間の嗜好とLLMの関係の深い理解や、その制限の実現を妨げる可能性がある。 本研究では、嗜好中心の視点から、嗜好フィードバックの源泉と形式、選好信号のモデリングと利用、および、協調したLLMの評価について、人間の嗜好学習の進歩を概観する。 まず、データソースとフォーマットに基づいて人間のフィードバックを分類する。 次に、人間の嗜好モデリングのためのテクニックを要約し、異なるモデル流派の長所と短所を比較した。 また、人間の嗜好信号を利用するために、目的によって分類された様々な嗜好利用法を提案する。 最後に、人間の意図の整合性の観点からLLMを評価するためのいくつかの一般的なアプローチを要約し、LLMに対する人間の意図の整合性に関する我々の展望について議論する。

関連論文リスト

• Personalization of Large Language Models: A Survey [131.00650432814268]
  大規模言語モデル(LLM)のパーソナライゼーションは、最近、広範囲のアプリケーションでますます重要になっている。 パーソナライズ LLM に関する既存の研究の多くは、(a)パーソナライズされたテキスト生成、または(b)レコメンデーションシステムのようなパーソナライズに関連する下流アプリケーションに LLM を活用することに集中している。 パーソナライズされたLSM使用のための分類を導入し、主要な違いと課題を要約する。
  論文  参考訳（メタデータ） (2024-10-29T04:01:11Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• Uncovering Factor Level Preferences to Improve Human-Model Alignment [58.50191593880829]
  PROFILEは、好みを駆動する特定の要因の影響を明らかにし、定量化するフレームワークである。 ProFILE の因子レベル分析は、人間モデルのアライメントと不適応の背後にある 'なぜ' を説明している。 我々は、不整合要因に対処するなど、要因レベルの洞察の活用が、人間の嗜好との整合性をいかに改善するかを実証する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:34Z)
• Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments [41.25558612970942]
  大規模言語モデル (LLMs) が優先バイアスを示し, 設計に敏感であることを示す。 この現象に触発された自動ゼロショット評価指向のプロンプト最適化フレームワークZEPOを提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:48:53Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• Do Large Language Models Learn Human-Like Strategic Preferences? [0.0]
  LLMは、戦略的シナリオにおいて人間のような選好判断をすることを学ぶ。 太陽とミストラルは、人間と一致した安定な値に基づく嗜好を示す。
  論文  参考訳（メタデータ） (2024-04-11T19:13:24Z)
• On Diversified Preferences of Large Language Model Alignment [51.26149027399505]
  本稿では,様々な大きさの報酬モデルに対する実験スケーリング法則の定量的解析を行った。 分析の結果,ヒトの嗜好の多様化による影響は,モデルサイズとデータサイズの両方に依存することが明らかとなった。 十分なキャパシティを持つ大きなモデルでは、さまざまな好みによるネガティブな影響が軽減される一方、より小さなモデルはそれらに対応するのに苦労する。
  論文  参考訳（メタデータ） (2023-12-12T16:17:15Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。