論文の概要: A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More

• arxiv url: http://arxiv.org/abs/2407.16216v1
• Date: Tue, 23 Jul 2024 06:45:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 18:25:52.800770
• Title: A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More
• Title（参考訳）: LLMアライメント技術の総合的調査:RLHF, RLAIF, PPO, DPOなど
• Authors: Zhichao Wang, Bin Bi, Shiva Kumar Pentyala, Kiran Ramnath, Sougata Chaudhuri, Shubham Mehrotra, Zixu, Zhu, Xiang-Bo Mao, Sitaram Asur, Na, Cheng,
• Abstract要約: 大規模言語モデル(LLM)は、人間のクエリに対する事実的かつ一貫性のある応答を生成することができる。 しかし、学習データの混合品質は、望ましくない応答を発生させる可能性がある。
• 参考スコア（独自算出の注目度）: 16.51222305646957
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: With advancements in self-supervised learning, the availability of trillions tokens in a pre-training corpus, instruction fine-tuning, and the development of large Transformers with billions of parameters, large language models (LLMs) are now capable of generating factual and coherent responses to human queries. However, the mixed quality of training data can lead to the generation of undesired responses, presenting a significant challenge. Over the past two years, various methods have been proposed from different perspectives to enhance LLMs, particularly in aligning them with human expectation. Despite these efforts, there has not been a comprehensive survey paper that categorizes and details these approaches. In this work, we aim to address this gap by categorizing these papers into distinct topics and providing detailed explanations of each alignment method, thereby helping readers gain a thorough understanding of the current state of the field.
• Abstract（参考訳）: 自己教師型学習の進歩、事前学習コーパスにおける数兆トークンの利用可能化、命令の微調整、数十億のパラメータを持つ大規模トランスフォーマーの開発などにより、大規模言語モデル(LLM)は、人間のクエリに対する事実的かつ一貫性のある応答を生成できるようになった。 しかし、トレーニングデータの混合品質は、望ましくない応答を生み出すことにつながる可能性があるため、大きな課題が浮かび上がっている。 過去2年間で、LLMの強化、特に人間の期待に合わせた様々な手法が提案されてきた。 これらの取り組みにもかかわらず、これらのアプローチを分類し詳細化する総合的な調査論文は存在しない。 本研究は,これらの論文を個別のトピックに分類し,各アライメント手法の詳細な説明を提供することで,このギャップに対処することを目的としている。

関連論文リスト

• The Future of Learning in the Age of Generative AI: Automated Question Generation and Assessment with Large Language Models [0.0]
  大規模言語モデル(LLM)と生成AIは、自然言語処理(NLP)に革命をもたらした。 本章では,自動質問生成と回答評価におけるLLMの変容の可能性について考察する。
  論文  参考訳（メタデータ） (2024-10-12T15:54:53Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Recent Advances in Multi-Choice Machine Reading Comprehension: A Survey on Methods and Datasets [19.021200954913482]
  この分析は、30の既存のクローゼスタイルとマルチチョイスMCCベンチマークデータセットに展開されている。 本稿では,最近の手法を細調整法とプロンプト調整法に分類する。
  論文  参考訳（メタデータ） (2024-08-04T18:57:21Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• Retrieving Multimodal Information for Augmented Generation: A Survey [35.33076940985081]
  マルチモーダルな知識を検索することで生成モデルを補助・拡張する手法について検討する。 このような手法は、事実性、推論、解釈可能性、堅牢性といった重要な問題に対する有望な解決策を提供する。
  論文  参考訳（メタデータ） (2023-03-20T05:07:41Z)
• A Survey on Knowledge-Enhanced Pre-trained Language Models [8.54551743144995]
  自然言語処理(NLP)は、事前学習言語モデル(PLM)によって革新された。 ほぼすべてのNLPタスクに新しいレコードを設定するが、PLMは、解釈可能性の低さ、推論能力の弱さ、下流タスクに適用する場合に多くの高価な注釈付きデータが必要であるなど、多くの課題に直面している。 外部知識を PLM に統合することにより、textitunderline-Knowledge-underline が強化された underlinePre-trained underlineLanguage underlineModels
  論文  参考訳（メタデータ） (2022-12-27T09:54:14Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。