論文の概要: Hallucination Detox: Sensitive Neuron Dropout (SeND) for Large Language Model Training
- arxiv url: http://arxiv.org/abs/2410.15460v1
- Date: Sun, 20 Oct 2024 18:18:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:20:25.646856
- Title: Hallucination Detox: Sensitive Neuron Dropout (SeND) for Large Language Model Training
- Title(参考訳): 幻覚デトックス:大言語モデルトレーニングのための感性ニューロン投下(SeND)
- Authors: Shahrad Mohammadzadeh, Juan David Guerra, Marco Bonizzato, Reihaneh Rabbany, Golnoosh Farnadi,
- Abstract要約: 本研究は,幻覚の緩和を目的としたトレーニングプロトコルであるSensitive Neuron Dropout (SeND)を紹介する。
さらに,従来のEigenScoreを2倍の速度で近似する,教師なし幻覚検出尺度であるEfficient EigenScore(EES)を開発した。
- 参考スコア(独自算出の注目度): 7.726825072908519
- License:
- Abstract: As large language models (LLMs) become increasingly deployed across various industries, concerns regarding their reliability, particularly due to hallucinations-outputs that are factually inaccurate or irrelevant to user input-have grown. Our research investigates the relationship between the training process and the emergence of hallucinations to address a key gap in existing research that focuses primarily on post hoc detection and mitigation strategies. Using models from the Pythia suite (70M-12B parameters) and several hallucination detection metrics, we analyze hallucination trends throughout training and explore LLM internal dynamics. We introduce SEnsitive Neuron Dropout (SeND), a novel training protocol designed to mitigate hallucinations by reducing variance during training. SeND achieves this by deterministically dropping neurons with significant variability on a dataset, referred to as Sensitive Neurons. In addition, we develop an unsupervised hallucination detection metric, Efficient EigenScore (EES), which approximates the traditional EigenScore in 2x speed. This efficient metric is integrated into our protocol, allowing SeND to be both computationally scalable and effective at reducing hallucinations. Our empirical evaluation demonstrates that our approach improves LLM reliability at test time by up to 40% compared to normal training while also providing an efficient method to improve factual accuracy when adapting LLMs to domains such as Wikipedia and Medical datasets.
- Abstract(参考訳): 大規模言語モデル(LLM)が様々な産業に普及するにつれて、その信頼性に関する懸念、特にユーザ入力の事実的不正確な、あるいは無関係な幻覚出力が増大している。
本研究は, 訓練過程と幻覚の出現との関係を考察し, ポストホック検出と緩和戦略に焦点をあてた既存研究における重要なギャップに対処するものである。
Pythiaスイート(70M-12Bパラメータ)といくつかの幻覚検出指標のモデルを用いて、トレーニング全体を通して幻覚の傾向を分析し、LLMの内部ダイナミクスを探索する。
本研究は,幻覚の緩和を目的としたトレーニングプロトコルであるSensitive Neuron Dropout (SeND)を紹介する。
SeNDは、知覚ニューロン(Sensitive Neurons)と呼ばれるデータセットに大きな可変性を持つ神経細胞を決定的にドロップすることでこれを達成している。
さらに,従来のEigenScoreを2倍の速度で近似する,教師なし幻覚検出尺度であるEfficient EigenScore(EES)を開発した。
この効率のよいメトリックは我々のプロトコルに統合され、SeNDは計算能力が高く、幻覚を減らすのに効果的である。
実験により,本手法は,通常のトレーニングに比べてテスト時のLLM信頼性を最大40%向上させるとともに,Wikipediaやメディカルデータセットなどの領域にLLMを適用する際の現実的精度を向上させるための効率的な方法を提供する。
関連論文リスト
- Mitigating Entity-Level Hallucination in Large Language Models [11.872916697604278]
本稿では,大規模言語モデル(LLM)における幻覚の検出・緩和手法として,幻覚検出(DRAD)に基づく動的検索拡張を提案する。
実験の結果,LDMにおける幻覚の検出と緩和の両面において,DRADは優れた性能を示した。
論文 参考訳(メタデータ) (2024-07-12T16:47:34Z) - Self-Supervised Pretext Tasks for Alzheimer's Disease Classification using 3D Convolutional Neural Networks on Large-Scale Synthetic Neuroimaging Dataset [11.173478552040441]
アルツハイマー病(Alzheimer's Disease, AD)は、脳の局所的および広範な神経変性を誘導する疾患である。
本研究では、下流ADとCN分類のための特徴抽出器を訓練するための教師なし手法をいくつか評価した。
論文 参考訳(メタデータ) (2024-06-20T11:26:32Z) - XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
多層構造プロンプトを用いたゼロショット/ファウショットインコンテキスト学習(ICL)のための新しい手法を開発した。
また、ユーザと大規模言語モデル(LLM)間の2つのコミュニケーションスタイルの有効性についても検討する。
本研究は,性別バイアスや偽陰性率などの診断精度とリスク要因を系統的に評価する。
論文 参考訳(メタデータ) (2024-05-10T06:52:44Z) - Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。
本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-16T11:55:40Z) - Reducing LLM Hallucinations using Epistemic Neural Networks [0.0]
我々は,Llama-2 7B モデル上に ENN をトレーニングし,コントラストデコード機能拡張技術と組み合わせた。
我々は、次のトークン予測タスクのためにENNをトレーニングし、TruthfulQAデータセットの幻覚を減らすためにこの方法の有効性を探求する。
論文 参考訳(メタデータ) (2023-12-25T01:17:01Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z) - A New Benchmark and Reverse Validation Method for Passage-level
Hallucination Detection [63.56136319976554]
大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。
本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。
提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
論文 参考訳(メタデータ) (2023-10-10T10:14:59Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - Contrastive Learning Reduces Hallucination in Conversations [76.55116206021346]
そこで我々はMixCLという対照的な学習手法を提案する。
LMの暗黙的知識抽出過程を明示的に最適化するために、新しい混合コントラスト目的を提案する。
我々は、MixCLが最先端KBベースのアプローチに匹敵する性能を実現することを示す。
論文 参考訳(メタデータ) (2022-12-20T16:26:18Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳(メタデータ) (2021-11-01T15:44:49Z) - Detecting Parkinsonian Tremor from IMU Data Collected In-The-Wild using
Deep Multiple-Instance Learning [59.74684475991192]
パーキンソン病(英: Parkinson's Disease、PD)は、60歳以上の人口の約1%に影響を与える徐々に進化する神経学的疾患である。
PD症状には、震動、剛性、ブレイキネジアがある。
本稿では,スマートフォン端末から受信したIMU信号に基づいて,PDに関連するトレモラスなエピソードを自動的に識別する手法を提案する。
論文 参考訳(メタデータ) (2020-05-06T09:02:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。