Fugu-MT 論文翻訳(概要): Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation

論文の概要: Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation

arxiv url: http://arxiv.org/abs/2502.11306v1
Date: Sun, 16 Feb 2025 23:05:36 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-18 14:15:24.396692
Title: Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation
Title（参考訳）: Smoothing Out Hallucination:Smoothing Out Hallucination: Mitigating LLM Hallucination with Smoothed Knowledge Distillation
Authors: Hieu Nguyen, Zihao He, Shoumik Atul Gandre, Ujjwal Pasupulety, Sharanya Kumari Shivakumar, Kristina Lerman,
Abstract要約: 我々は知識蒸留(KD)による幻覚の緩和を提案する。 KDは学生モデルにスムーズなソフトラベルを提供し、自信過剰を減らし、事実的根拠を改善する。要約ベンチマークの実験結果から、KDは標準的な微調整に比べて幻覚を減少させることが示された。
参考スコア（独自算出の注目度）: 5.9079338934481225
License:
Abstract: Large language models (LLMs) often suffer from hallucination, generating factually incorrect or ungrounded content, which limits their reliability in high-stakes applications. A key factor contributing to hallucination is the use of hard labels during training, which enforce deterministic supervision, encourage overconfidence, and disregard the uncertainty inherent in natural language. To address this, we propose mitigating hallucination through knowledge distillation (KD), where a teacher model provides smoothed soft labels to a student model, reducing overconfidence and improving factual grounding. We apply KD during supervised finetuning on instructional data, evaluating its effectiveness across LLMs from different families. Experimental results on summarization benchmarks demonstrate that KD reduces hallucination compared to standard finetuning while preserving performance on general NLP tasks. These findings highlight KD as a promising approach for mitigating hallucination in LLMs and improving model reliability.
Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしば幻覚に悩まされ、事実的に誤りまたは根拠のないコンテンツを生成し、高い精度のアプリケーションでの信頼性を制限する。幻覚に寄与する重要な要因は、訓練中にハードラベルを使用することであり、決定論的監督を強制し、過剰な自信を奨励し、自然言語に固有の不確実性を無視している。そこで本研究では,教師モデルが学生モデルにスムーズなソフトラベルを提供し,過度な自信を減らし,事実的根拠を改善することで,知識蒸留(KD)による幻覚の緩和を提案する。指導データに基づく教師付き微調整中にKDを適用し,その効果を異なる家系のLSMで評価した。要約ベンチマーク実験の結果、KDは一般的なNLPタスクの性能を保ちながら、標準的な微調整に比べて幻覚を減少させることが示された。これらの結果から、KDはLLMの幻覚を緩和し、モデルの信頼性を向上させるための有望なアプローチであることが示された。

関連論文リスト

HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses [0.12499537119440242]
本稿では,HuDExと命名された幻覚検出モデルについて説明する。提案モデルでは,検出を説明と統合する新たなアプローチを提供し,ユーザとLLM自体がエラーを理解し,低減することができる。
論文参考訳（メタデータ） (2025-02-12T04:17:02Z)
Mitigating Hallucinations in Large Vision-Language Models with Internal Fact-based Contrastive Decoding [5.424048651554831]
内部Fact-based Contrastive Decoding (IFCD)は、大規模視覚言語モデル(LVLM)の推論過程における幻覚の緩和と抑制を目的としている。 IFCDはLVLMの出力を校正し、最終予測から幻覚ロジットを効果的に除去する。実験の結果, IFCD はPOPE では平均9% の精度向上, MME では8% の精度向上を実現し, オブジェクトレベルの幻覚と属性レベルの幻覚の両方を著しく軽減することがわかった。
論文参考訳（メタデータ） (2025-02-03T05:08:35Z)
Hallucination Detox: Sensitivity Dropout (SenD) for Large Language Model Training [7.726825072908519]
本研究では,学習過程と幻覚の出現との関係について検討する。感性低下(Sensitivity Dropout, SenD)は, 覚醒の軽減を目的としたトレーニングプロトコルである。さらに,従来のEigenScoreを2倍の速度で近似する,教師なし幻覚検出尺度であるEfficient EigenScore(EES)を開発した。
論文参考訳（メタデータ） (2024-10-20T18:18:23Z)
Iter-AHMCL: Alleviate Hallucination for Large Language Model via Iterative Model-level Contrastive Learning [16.883679810267342]
幻覚に対処するための反復モデルレベルのコントラスト学習(Iter-AHMCL) 本稿では,幻覚に対処するイテレーティブモデルレベルのコントラスト学習(Iter-AHMCL)を提案する。
論文参考訳（メタデータ） (2024-10-16T00:15:40Z)
Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
論文参考訳（メタデータ） (2024-07-04T18:47:42Z)
Hallucination Diversity-Aware Active Learning for Text Summarization [46.00645048690819]
LLM(Large Language Models)は、幻覚出力を生成するための妥当性を示す。幻覚を緩和するための既存の方法は、通常、LLM出力の幻覚を識別し修正するために、人為的なアノテーションを必要とする。 LLM幻覚を緩和する最初のアクティブラーニングフレームワークを提案し,必要な幻覚アノテーションのコストを削減した。
論文参考訳（メタデータ） (2024-04-02T02:30:27Z)
Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
論文参考訳（メタデータ） (2024-01-19T15:39:49Z)
Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文参考訳（メタデータ） (2023-12-25T12:32:49Z)
Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文参考訳（メタデータ） (2023-11-22T08:39:17Z)
HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文参考訳（メタデータ） (2023-11-22T04:52:58Z)
Contrastive Learning Reduces Hallucination in Conversations [76.55116206021346]
そこで我々はMixCLという対照的な学習手法を提案する。 LMの暗黙的知識抽出過程を明示的に最適化するために、新しい混合コントラスト目的を提案する。我々は、MixCLが最先端KBベースのアプローチに匹敵する性能を実現することを示す。
論文参考訳（メタデータ） (2022-12-20T16:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。