論文の概要: FLAME: Factuality-Aware Alignment for Large Language Models

• arxiv url: http://arxiv.org/abs/2405.01525v1
• Date: Thu, 2 May 2024 17:54:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 15:25:48.848799
• Title: FLAME: Factuality-Aware Alignment for Large Language Models
• Title（参考訳）: FLAME: 大規模言語モデルのためのファクタリティを考慮したアライメント
• Authors: Sheng-Chieh Lin, Luyu Gao, Barlas Oguz, Wenhan Xiong, Jimmy Lin, Wen-tau Yih, Xilun Chen,
• Abstract要約: 従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
• 参考スコア（独自算出の注目度）: 86.76336610282401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Alignment is a standard procedure to fine-tune pre-trained large language models (LLMs) to follow natural language instructions and serve as helpful AI assistants. We have observed, however, that the conventional alignment process fails to enhance the factual accuracy of LLMs, and often leads to the generation of more false facts (i.e. hallucination). In this paper, we study how to make the LLM alignment process more factual, by first identifying factors that lead to hallucination in both alignment steps:\ supervised fine-tuning (SFT) and reinforcement learning (RL). In particular, we find that training the LLM on new knowledge or unfamiliar texts can encourage hallucination. This makes SFT less factual as it trains on human labeled data that may be novel to the LLM. Furthermore, reward functions used in standard RL can also encourage hallucination, because it guides the LLM to provide more helpful responses on a diverse set of instructions, often preferring longer and more detailed responses. Based on these observations, we propose factuality-aware alignment, comprised of factuality-aware SFT and factuality-aware RL through direct preference optimization. Experiments show that our proposed factuality-aware alignment guides LLMs to output more factual responses while maintaining instruction-following capability.
• Abstract（参考訳）: アライメントは、訓練済みの大規模言語モデル(LLM)を微調整し、自然言語の指示に従ってAIアシスタントとして機能する標準的な手順である。 しかしながら、従来のアライメントプロセスではLLMの事実精度が向上せず、しばしばより偽の事実(幻覚)を生み出すことが観察されている。 本稿では,LLMアライメントプロセスをより現実的なものにする方法について,まず,両アライメントステップにおける幻覚につながる要因を同定する: 教師付き微調整(SFT)と強化学習(RL)。 特に、新しい知識や不慣れな文章に基づいてLLMを訓練することは幻覚を喚起する可能性がある。 これにより、SFTはLLMに新しいかもしれない人間のラベル付きデータをトレーニングするので、現実的ではない。 さらに、標準のRLで使われる報酬関数は、LLMが様々な命令セットに対してより有用な応答を提供するよう誘導するので、より長くより詳細な応答を好んでいるため、幻覚を促進することもできる。 これらの観測に基づいて、直接選好最適化により、事実性認識型SFTと事実性認識型RLからなる事実性認識型アライメントを提案する。 実験の結果,提案した事実認識アライメントは,命令追従能力を維持しつつ,より現実的な応答を出力する。

関連論文リスト

• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• The Unlocking Spell on Base LLMs: Rethinking Alignment via In-Context Learning [61.68787689234622]
  最近の研究であるLIMAは、アライメントチューニングに1Kの例のみを用いることで、アライメント性能も著しく向上することを示した。 これにより、アライメントチューニングがベースLLMをどのように変換するかという疑問が提起される。 本研究では,チューニングフリーとチューニングベースアライメントのギャップを戦略的プロンプトによって著しく低減できることを示す。
  論文  参考訳（メタデータ） (2023-12-04T00:46:11Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• Interpreting Learned Feedback Patterns in Large Language Models [11.601799960959214]
  我々は、微調整言語モデルのアクティベーションにおいて暗黙的にフィードバック信号を推定するプローブを訓練する。 これらの推定値を真のフィードバックと比較し、LFPの精度を微調整フィードバックと比較する。 我々は、GPT-4が記述し、LFPに関連するものとして分類する特徴に対して、正のフィードバック入力と相関する神経特徴を比較して、プローブを検証する。
  論文  参考訳（メタデータ） (2023-10-12T09:36:03Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。