論文の概要: GRATH: Gradual Self-Truthifying for Large Language Models

• arxiv url: http://arxiv.org/abs/2401.12292v1
• Date: Mon, 22 Jan 2024 19:00:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 17:40:58.010881
• Title: GRATH: Gradual Self-Truthifying for Large Language Models
• Title（参考訳）: GRATH: 大規模言語モデルのための経時的自己改善
• Authors: Weixin Chen, Bo Li
• Abstract要約: GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。 GRATHは、注釈付き回答を必要とせずに、自己教師された方法で真実を学習する。 GRATHはTrathfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%である。
• 参考スコア（独自算出の注目度）: 9.751942886409179
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Truthfulness is paramount for large language models (LLMs) as they are increasingly deployed in real-world applications. However, existing LLMs still struggle with generating truthful answers and content, as evidenced by their modest performance on benchmarks like TruthfulQA. To address this issue, we propose GRAdual self-truTHifying (GRATH), a novel post-processing method to enhance truthfulness of LLMs. GRATH utilizes out-of-domain question prompts to generate corresponding answers and adaptively optimizes the model via direct preference optimization (DPO). Note that during this process, GRATH learns truthfulness in a self-supervised manner without requiring annotated answers. In particular, GRATH first generates pairwise truthfulness training data by prompting the LLM itself, with each pair containing a question and its correct and incorrect answers. The model is then fine-tuned using DPO to learn from the difference between answer pairs. Subsequently, GRATH iteratively refines the truthfulness data and optimizes the model, leading to a gradual improvement in model truthfulness. Empirically, we evaluate GRATH using different 7B-LLMs and compare with LLMs with similar or even larger sizes on benchmark datasets. Our results show that GRATH effectively improves LLMs' truthfulness without compromising other core capabilities. Notably, GRATH achieves state-of-the-art performance on TruthfulQA, with MC1 accuracy as 54.71% and MC2 accuracy as 69.10%, which even surpass those on larger-scale models, such as Llama2-Chat-70B, by 23.62% and 24.18%, respectively.
• Abstract（参考訳）: 現実のアプリケーションにますますデプロイされているため、大きな言語モデル(LLM)にとって真実性は最重要である。 しかし、既存のLLMは、TrathfulQAのようなベンチマークにおける控えめなパフォーマンスによって証明されているように、真実の答えとコンテンツの生成に苦戦している。 この問題に対処するために,LLMの真正性を高めるための新しいポストプロセッシング手法であるGRATHを提案する。 GRATHはドメイン外質問プロンプトを使用して対応する回答を生成し、直接選好最適化(DPO)によってモデルを適応的に最適化する。 この過程で、GRATHは注釈付き回答を必要とせず、自己監督的な方法で真理を学ぶ。 特に、GRATHは、まずLLM自体に質問を含む各ペアとその正解と誤解を誘導することにより、ペアワイズ真正性トレーニングデータを生成する。 モデルはdpoを使って微調整され、回答ペアの違いから学習される。 その後、GRATHは忠実度データを反復的に洗練し、モデルを最適化し、モデルの真しさを徐々に改善する。 実験により,GRATHを異なる7B-LLMを用いて評価し,ベンチマークデータセットの類似あるいはそれ以上の大きさのLLMと比較した。 以上の結果から, GRATHは他のコア能力を損なうことなく, LLMの真偽性を効果的に改善できることが示唆された。 特に、GRATHはTrathfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%となり、それぞれLlama2-Chat-70Bのような大規模モデルよりも23.62%、24.18%向上した。

関連論文リスト

• LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models [11.453585039783901]
  LEAF: Fact-Checkingによって強化された学習と評価は、大規模言語モデル(LLM)の現実的信頼性を高めるために設計された新しいアプローチである。 最初の戦略であるFact-Check-Then-RAGは、ファクトチェック結果を取り入れて、モデルパラメータを更新せずに検索プロセスをガイドすることによって、検索精度を向上させる。 第2の戦略であるLearning from Fact-Checks via Self-Trainingは、ファクトチェックされた応答の監督された微調整(SFT)や、ファクトチェックをランキングメカニズムとして適用するSimple Preference Optimization(SimPO)である。
  論文  参考訳（メタデータ） (2024-10-31T00:18:05Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Enhanced Language Model Truthfulness with Learnable Intervention and Uncertainty Expression [19.69104070561701]
  大きな言語モデル(LLM)は長文で一貫性のあるテキストを生成することができるが、事実を幻覚させることが多い。 真性最適化のための学習可能なインターベンション手法であるLITOを提案する。 複数のLLMと質問応答データセットの実験は、LITOがタスク精度を維持しながら真理性を改善することを示した。
  論文  参考訳（メタデータ） (2024-05-01T03:50:09Z)
• Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
  大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
  論文  参考訳（メタデータ） (2024-04-01T06:01:17Z)
• Enhancing Large Language Model Performance To Answer Questions and Extract Information More Accurately [2.1715455600756646]
  大きな言語モデル(LLM)は質問に対する応答を生成する。 それらの効果は、答えの最適でない品質や、質問に対する正確な回答を提供するための失敗によってしばしば妨げられる。 これらの課題に対処するため、モデルを改善するためのフィードバックやサンプルを含む、微調整プロセスが採用されている。
  論文  参考訳（メタデータ） (2024-01-27T00:18:07Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。