Fugu-MT 論文翻訳(概要): Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation

論文の概要: Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation

arxiv url: http://arxiv.org/abs/2402.09267v2
Date: Tue, 11 Jun 2024 12:22:14 GMT
ステータス: 処理完了
システム内更新日: 2024-06-12 22:32:43.529005
Title: Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation
Title（参考訳）: 自己アライメント・フォー・ファクチュアリティ:自己評価によるLLMの幻覚の軽減
Authors: Xiaoying Zhang, Baolin Peng, Ye Tian, Jingyan Zhou, Lifeng Jin, Linfeng Song, Haitao Mi, Helen Meng,
Abstract要約: 大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
参考スコア（独自算出の注目度）: 71.91287418249688
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite showing increasingly human-like abilities, large language models (LLMs) often struggle with factual inaccuracies, i.e. "hallucinations", even when they hold relevant knowledge. To address these hallucinations, current approaches typically necessitate high-quality human factuality annotations. In this work, we explore Self-Alignment for Factuality, where we leverage the self-evaluation capability of an LLM to provide training signals that steer the model towards factuality. Specifically, we incorporate Self-Eval, a self-evaluation component, to prompt an LLM to validate the factuality of its own generated responses solely based on its internal knowledge. Additionally, we design Self-Knowledge Tuning (SK-Tuning) to augment the LLM's self-evaluation ability by improving the model's confidence estimation and calibration. We then utilize these self-annotated responses to fine-tune the model via Direct Preference Optimization algorithm. We show that the proposed self-alignment approach substantially enhances factual accuracy over Llama family models across three key knowledge-intensive tasks on TruthfulQA and BioGEN.
Abstract（参考訳）: 人間的な能力の増大にもかかわらず、大きな言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さ、すなわち「幻覚」に苦しむことが多い。これらの幻覚に対処するためには、現在のアプローチは通常、高品質な人間の事実性アノテーションを必要とする。本研究では, LLMの自己評価能力を活用し, モデルが現実性に向かうためのトレーニング信号を提供する自己アライメント・フォー・ファクチュアリティについて検討する。具体的には、自己評価コンポーネントであるSelf-Evalを組み込んで、内部知識のみに基づいて、LLMが生成した応答の事実性を検証する。さらに,モデルの信頼性評価とキャリブレーションを改善し,LLMの自己評価能力を高めるために,自己知識チューニング(SK-Tuning)を設計する。次に、これらの自己アノテートされた応答を利用して、直接選好最適化アルゴリズムを用いてモデルを微調整する。提案手法は,TruthfulQAとBioGENの3つの重要な知識集約タスクにおいて,Llamaファミリーモデルに対する現実的精度を大幅に向上させることを示す。

関連論文リスト

Large Language Models have Intrinsic Self-Correction Ability [16.831123666582755]
大規模言語モデルは、性能劣化を引き起こす幻覚に悩まされる。 LLMのパフォーマンスを改善するための有望な解決策の1つは、LLMに世代ごとの回答の修正を求めることである。内在的な自己補正は、外部知識を活用できないため、有望な方向と考えられる。
論文参考訳（メタデータ） (2024-06-21T22:29:40Z)
SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales [29.33581578047835]
SaySelfは、大規模言語モデルに、より正確なきめ細かな信頼推定を表現するためのトレーニングフレームワークである。さらに、SaySelf は LLM に対して、パラメトリック知識のギャップを明確に識別する自己反射的合理性を生成するよう指示する。生成した自己反射的理性は合理的であり、キャリブレーションにさらに貢献できることを示す。
論文参考訳（メタデータ） (2024-05-31T16:21:16Z)
A Theoretical Understanding of Self-Correction through In-context Alignment [51.622068973630796]
大規模言語モデル(LLM)は自己補正によって純粋に能力を向上させることができる。 LLMが比較的正確な自己評価を報酬として与える場合、文脈内応答を補充できることを示す。これらの知見に触発されて,LLMジェイルブレイクに対する防御などの自己補正の応用についても解説した。
論文参考訳（メタデータ） (2024-05-28T22:33:02Z)
LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
論文参考訳（メタデータ） (2024-05-15T13:35:43Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
Confidence Matters: Revisiting Intrinsic Self-Correction Capabilities of Large Language Models [23.42725642076256]
大規模言語モデル(LLM)は、自己訂正能力への関心が高まっている。本稿では,LLMの内在的自己補正に関する包括的研究について述べる。 We developed a "If-or-Else" prompting framework, designed to guide LLMs in evaluation of their "confidence"。
論文参考訳（メタデータ） (2024-02-19T21:38:02Z)
Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for Hallucination Mitigation [9.730412606588335]
我々は,Large Language Models (LLMs) の内的知識状態の識別と表現能力を評価する。本稿では,LLMの事実と正直性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-27T16:19:30Z)
The Calibration Gap between Model and Human Confidence in Large Language Models [14.539888672603743]
大規模言語モデル(LLM)は、その予測がどの程度正確であるかを正確に評価し、伝達できるという意味で、十分に校正される必要がある。最近の研究は、内部LCMの信頼性評価の品質に焦点を当てている。本稿では,LLMの応答における外部人間の信頼度とモデルの内部信頼度との相違について検討する。
論文参考訳（メタデータ） (2024-01-24T22:21:04Z)
SELF: Self-Evolution with Language Feedback [68.6673019284853]
SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
論文参考訳（メタデータ） (2023-10-01T00:52:24Z)
Do Large Language Models Know What They Don't Know? [74.65014158544011]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。本研究の目的は,LLMの自己理解能力を評価することである。
論文参考訳（メタデータ） (2023-05-29T15:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。