論文の概要: Constructing Benchmarks and Interventions for Combating Hallucinations in LLMs
- arxiv url: http://arxiv.org/abs/2404.09971v1
- Date: Mon, 15 Apr 2024 17:48:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 21:18:06.028355
- Title: Constructing Benchmarks and Interventions for Combating Hallucinations in LLMs
- Title(参考訳): LLMにおけるハロゲン化防止のためのベンチマークの構築と対策
- Authors: Adi Simhi, Jonathan Herzig, Idan Szpektor, Yonatan Belinkov,
- Abstract要約: 大型言語モデル(LLM)は幻覚に感受性がある。
モデル計算に介入することで幻覚を緩和しようとする最近の試みは失敗に終わった。
この研究は、検出と介入のためのモデル知識に基づいてデータセットを構築するアプローチを導入する。
- 参考スコア(独自算出の注目度): 43.62904897907926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are susceptible to hallucination, which sparked a widespread effort to detect and prevent them. Recent work attempts to mitigate hallucinations by intervening in the model's computation during generation, using different setups and heuristics. Those works lack separation between different hallucination causes. In this work, we first introduce an approach for constructing datasets based on the model knowledge for detection and intervention methods in closed-book and open-book question-answering settings. We then characterize the effect of different choices for intervention, such as the intervened components (MLPs, attention block, residual stream, and specific heads), and how often and how strongly to intervene. We find that intervention success varies depending on the component, with some components being detrimental to language modeling capabilities. Finally, we find that interventions can benefit from pre-hallucination steering direction instead of post-hallucination. The code is available at https://github.com/technion-cs-nlp/hallucination-mitigation
- Abstract(参考訳): 大型言語モデル(LLM)は幻覚の影響を受けやすいため、それらを検出し予防するための広範囲な取り組みが引き起こされた。
最近の研究は、異なる設定とヒューリスティックを用いて、生成中のモデルの計算を介入することで幻覚を緩和しようとする試みである。
これらの作品は、異なる幻覚の原因の分離を欠いている。
そこで本研究では,クローズドブックとオープンブックの質問応答設定における検出・介入手法のモデル知識に基づくデータセット構築手法を提案する。
次に、インターベンションコンポーネント(MLP、アテンションブロック、残留ストリーム、特定のヘッド)や、インターベンションの頻度と強度など、介入のための異なる選択の効果を特徴付ける。
介入の成功はコンポーネントによって異なり、いくつかのコンポーネントは言語モデリング能力に有害である。
最後に, 介入は, 予防接種後ではなく, 予防接種前操舵の方向性の恩恵を受けることが判明した。
コードはhttps://github.com/technion-cs-nlp/hallucination-mitigationで公開されている。
関連論文リスト
- Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。
プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。
そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文 参考訳(メタデータ) (2024-04-22T14:46:10Z) - A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation [51.53917938874146]
我々は,対話知識の相互作用を利用して,KGDの幻覚を緩和するための解決策を提案する。
本手法は,他の対話性能を損なうことなく幻覚を低減できることを示す。
論文 参考訳(メタデータ) (2024-04-04T14:45:26Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳(メタデータ) (2023-11-22T04:52:58Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - Detecting and Mitigating Hallucinations in Machine Translation: Model
Internal Workings Alone Do Well, Sentence Similarity Even Better [11.84762742895239]
生成した翻訳に対するソースコントリビューションのパーセンテージを評価する手法を提案する。
本手法は,最も重篤な幻覚の検出精度を2倍に向上し,前回のベストアプローチと同等の試験時間で幻覚を緩和することができる。
次に、内部モデルの特徴から離れ、外部ツールを許容すると、言語間埋め込みから文類似性を使用することにより、これらの結果がさらに改善されることを示す。
論文 参考訳(メタデータ) (2022-12-16T17:24:49Z) - Looking for a Needle in a Haystack: A Comprehensive Study of
Hallucinations in Neural Machine Translation [17.102338932907294]
我々はNMT幻覚研究の基礎を設定した。
テスト時に幻覚を緩和する簡単な方法であるDeHallucinatorを提案する。
論文 参考訳(メタデータ) (2022-08-10T12:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。