論文の概要: GRATH: Gradual Self-Truthifying for Large Language Models
- arxiv url: http://arxiv.org/abs/2401.12292v1
- Date: Mon, 22 Jan 2024 19:00:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 17:40:58.010881
- Title: GRATH: Gradual Self-Truthifying for Large Language Models
- Title(参考訳): GRATH: 大規模言語モデルのための経時的自己改善
- Authors: Weixin Chen, Bo Li
- Abstract要約: GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。
GRATHは、注釈付き回答を必要とせずに、自己教師された方法で真実を学習する。
GRATHはTrathfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%である。
- 参考スコア(独自算出の注目度): 9.751942886409179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Truthfulness is paramount for large language models (LLMs) as they are
increasingly deployed in real-world applications. However, existing LLMs still
struggle with generating truthful answers and content, as evidenced by their
modest performance on benchmarks like TruthfulQA. To address this issue, we
propose GRAdual self-truTHifying (GRATH), a novel post-processing method to
enhance truthfulness of LLMs. GRATH utilizes out-of-domain question prompts to
generate corresponding answers and adaptively optimizes the model via direct
preference optimization (DPO). Note that during this process, GRATH learns
truthfulness in a self-supervised manner without requiring annotated answers.
In particular, GRATH first generates pairwise truthfulness training data by
prompting the LLM itself, with each pair containing a question and its correct
and incorrect answers. The model is then fine-tuned using DPO to learn from the
difference between answer pairs. Subsequently, GRATH iteratively refines the
truthfulness data and optimizes the model, leading to a gradual improvement in
model truthfulness. Empirically, we evaluate GRATH using different 7B-LLMs and
compare with LLMs with similar or even larger sizes on benchmark datasets. Our
results show that GRATH effectively improves LLMs' truthfulness without
compromising other core capabilities. Notably, GRATH achieves state-of-the-art
performance on TruthfulQA, with MC1 accuracy as 54.71% and MC2 accuracy as
69.10%, which even surpass those on larger-scale models, such as
Llama2-Chat-70B, by 23.62% and 24.18%, respectively.
- Abstract(参考訳): 現実のアプリケーションにますますデプロイされているため、大きな言語モデル(LLM)にとって真実性は最重要である。
しかし、既存のLLMは、TrathfulQAのようなベンチマークにおける控えめなパフォーマンスによって証明されているように、真実の答えとコンテンツの生成に苦戦している。
この問題に対処するために,LLMの真正性を高めるための新しいポストプロセッシング手法であるGRATHを提案する。
GRATHはドメイン外質問プロンプトを使用して対応する回答を生成し、直接選好最適化(DPO)によってモデルを適応的に最適化する。
この過程で、GRATHは注釈付き回答を必要とせず、自己監督的な方法で真理を学ぶ。
特に、GRATHは、まずLLM自体に質問を含む各ペアとその正解と誤解を誘導することにより、ペアワイズ真正性トレーニングデータを生成する。
モデルはdpoを使って微調整され、回答ペアの違いから学習される。
その後、GRATHは忠実度データを反復的に洗練し、モデルを最適化し、モデルの真しさを徐々に改善する。
実験により,GRATHを異なる7B-LLMを用いて評価し,ベンチマークデータセットの類似あるいはそれ以上の大きさのLLMと比較した。
以上の結果から, GRATHは他のコア能力を損なうことなく, LLMの真偽性を効果的に改善できることが示唆された。
特に、GRATHはTrathfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%となり、それぞれLlama2-Chat-70Bのような大規模モデルよりも23.62%、24.18%向上した。
関連論文リスト
- LITO: Learnable Intervention for Truthfulness Optimization [19.69104070561701]
大きな言語モデル(LLM)は長文で一貫性のあるテキストを生成することができるが、事実を幻覚させることが多い。
真性最適化のための学習可能なインターベンション手法であるLITOを提案する。
論文 参考訳(メタデータ) (2024-05-01T03:50:09Z) - Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs [30.179703001666173]
大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である
我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。
テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
論文 参考訳(メタデータ) (2024-04-01T06:01:17Z) - Identifying Factual Inconsistency in Summaries: Towards Effective
Utilization of Large Language Model [50.71344457241456]
この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか?
実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。
実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z) - Enhancing Large Language Model Performance To Answer Questions and
Extract Information More Accurately [2.1715455600756646]
大きな言語モデル(LLM)は質問に対する応答を生成する。
それらの効果は、答えの最適でない品質や、質問に対する正確な回答を提供するための失敗によってしばしば妨げられる。
これらの課題に対処するため、モデルを改善するためのフィードバックやサンプルを含む、微調整プロセスが採用されている。
論文 参考訳(メタデータ) (2024-01-27T00:18:07Z) - Truth Forest: Toward Multi-Scale Truthfulness in Large Language Models
through Intervention without Tuning [18.92421817900689]
大規模言語モデル(LLM)における真理性を高める手法であるTrath Forestを紹介する。
また、シーケンス内の幅広い位置を考慮に入れた体系的手法であるランダム・ピークを導入する。
論文 参考訳(メタデータ) (2023-12-29T06:08:18Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。
このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
論文 参考訳(メタデータ) (2023-05-24T01:46:07Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳(メタデータ) (2023-05-23T21:50:06Z) - Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。
Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。
自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
論文 参考訳(メタデータ) (2022-09-23T18:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。