論文の概要: GRATH: Gradual Self-Truthifying for Large Language Models
- arxiv url: http://arxiv.org/abs/2401.12292v2
- Date: Wed, 31 Jan 2024 06:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 17:08:18.902820
- Title: GRATH: Gradual Self-Truthifying for Large Language Models
- Title(参考訳): GRATH: 大規模言語モデルのための経時的自己改善
- Authors: Weixin Chen, Dawn Song, Bo Li
- Abstract要約: GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。
GRATHは、反復的に真理データを洗練し、モデルを更新する。
GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
- 参考スコア(独自算出の注目度): 63.502835648056305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Truthfulness is paramount for large language models (LLMs) as they are
increasingly deployed in real-world applications. However, existing LLMs still
struggle with generating truthful content, as evidenced by their modest
performance on benchmarks like TruthfulQA. To address this issue, we propose
GRAdual self-truTHifying (GRATH), a novel post-processing method to enhance
truthfulness of LLMs. GRATH utilizes out-of-domain question prompts to generate
pairwise truthfulness training data with each pair containing a question and
its correct and incorrect answers, and then optimizes the model via direct
preference optimization (DPO) to learn from the truthfulness difference between
answer pairs. GRATH iteratively refines truthfulness data and updates the
model, leading to a gradual improvement in model truthfulness in a
self-supervised manner. Empirically, we evaluate GRATH using different 7B-LLMs
and compare with LLMs with similar or even larger sizes on benchmark datasets.
Our results show that GRATH effectively improves LLMs' truthfulness without
compromising other core capabilities. Notably, GRATH achieves state-of-the-art
performance on TruthfulQA, with MC1 accuracy of 54.71% and MC2 accuracy of
69.10%, which even surpass those on 70B-LLMs.
- Abstract(参考訳): 現実のアプリケーションにますますデプロイされているため、大きな言語モデル(LLM)にとって真実性は最重要である。
しかし、既存のllmは、truefulqaのようなベンチマークでの控えめなパフォーマンスによって証明されるように、依然として真理のあるコンテンツの生成に苦労している。
この問題に対処するために,LLMの真正性を高めるための新しいポストプロセッシング手法であるGRATHを提案する。
GRATHは、ドメイン外質問プロンプトを使用して、質問を含む各ペアとその正解と誤答を含むペアの真正性トレーニングデータを生成し、直接選好最適化(DPO)を介してモデルを最適化し、回答ペア間の真正性差から学習する。
grath氏は繰り返し真理データを洗練し、モデルを更新することで、自己監督的な方法でモデルの真理性を段階的に改善する。
実験により,GRATHを異なる7B-LLMを用いて評価し,ベンチマークデータセットの類似あるいはそれ以上の大きさのLLMと比較した。
以上の結果から, GRATHは他のコア能力を損なうことなく, LLMの真偽性を効果的に改善できることが示唆された。
特に、GRATHはTrathfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
関連論文リスト
- Identifying Factual Inconsistency in Summaries: Towards Effective
Utilization of Large Language Model [50.71344457241456]
この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか?
実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。
実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z) - Enhancing Large Language Model Performance To Answer Questions and
Extract Information More Accurately [2.1715455600756646]
大きな言語モデル(LLM)は質問に対する応答を生成する。
それらの効果は、答えの最適でない品質や、質問に対する正確な回答を提供するための失敗によってしばしば妨げられる。
これらの課題に対処するため、モデルを改善するためのフィードバックやサンプルを含む、微調整プロセスが採用されている。
論文 参考訳(メタデータ) (2024-01-27T00:18:07Z) - Truth Forest: Toward Multi-Scale Truthfulness in Large Language Models
through Intervention without Tuning [18.92421817900689]
大規模言語モデル(LLM)における真理性を高める手法であるTrath Forestを紹介する。
また、シーケンス内の幅広い位置を考慮に入れた体系的手法であるランダム・ピークを導入する。
論文 参考訳(メタデータ) (2023-12-29T06:08:18Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - Enable Language Models to Implicitly Learn Self-Improvement From Data [51.63428207248947]
大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。
我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-02T04:29:40Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data
Selection for Instruction Tuning [54.222609226692015]
我々は大規模言語モデルのための自己誘導手法を導入し、大規模なオープンソースデータセットからサクラサンプルを自律的に識別し、選択する。
私たちの重要なイノベーションであるIFD(Instruction-Following Difficulty)メトリックは、モデルが期待する応答と自動生成技術との間の相違を識別するための重要なツールとして現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳(メタデータ) (2023-05-23T21:50:06Z) - Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。
Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。
自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
論文 参考訳(メタデータ) (2022-09-23T18:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。