論文の概要: Constructing Benchmarks and Interventions for Combating Hallucinations in LLMs

• arxiv url: http://arxiv.org/abs/2404.09971v1
• Date: Mon, 15 Apr 2024 17:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 21:18:06.028355
• Title: Constructing Benchmarks and Interventions for Combating Hallucinations in LLMs
• Title（参考訳）: LLMにおけるハロゲン化防止のためのベンチマークの構築と対策
• Authors: Adi Simhi, Jonathan Herzig, Idan Szpektor, Yonatan Belinkov,
• Abstract要約: 大型言語モデル(LLM)は幻覚に感受性がある。 モデル計算に介入することで幻覚を緩和しようとする最近の試みは失敗に終わった。 この研究は、検出と介入のためのモデル知識に基づいてデータセットを構築するアプローチを導入する。
• 参考スコア（独自算出の注目度）: 43.62904897907926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are susceptible to hallucination, which sparked a widespread effort to detect and prevent them. Recent work attempts to mitigate hallucinations by intervening in the model's computation during generation, using different setups and heuristics. Those works lack separation between different hallucination causes. In this work, we first introduce an approach for constructing datasets based on the model knowledge for detection and intervention methods in closed-book and open-book question-answering settings. We then characterize the effect of different choices for intervention, such as the intervened components (MLPs, attention block, residual stream, and specific heads), and how often and how strongly to intervene. We find that intervention success varies depending on the component, with some components being detrimental to language modeling capabilities. Finally, we find that interventions can benefit from pre-hallucination steering direction instead of post-hallucination. The code is available at https://github.com/technion-cs-nlp/hallucination-mitigation
• Abstract（参考訳）: 大型言語モデル(LLM)は幻覚の影響を受けやすいため、それらを検出し予防するための広範囲な取り組みが引き起こされた。 最近の研究は、異なる設定とヒューリスティックを用いて、生成中のモデルの計算を介入することで幻覚を緩和しようとする試みである。 これらの作品は、異なる幻覚の原因の分離を欠いている。 そこで本研究では,クローズドブックとオープンブックの質問応答設定における検出・介入手法のモデル知識に基づくデータセット構築手法を提案する。 次に、インターベンションコンポーネント(MLP、アテンションブロック、残留ストリーム、特定のヘッド)や、インターベンションの頻度と強度など、介入のための異なる選択の効果を特徴付ける。 介入の成功はコンポーネントによって異なり、いくつかのコンポーネントは言語モデリング能力に有害である。 最後に, 介入は, 予防接種後ではなく, 予防接種前操舵の方向性の恩恵を受けることが判明した。 コードはhttps://github.com/technion-cs-nlp/hallucination-mitigationで公開されている。

関連論文リスト

• Counterfactual Generation from Language Models [64.55296662926919]
  対実的推論が介入と概念的に異なることを示す。 そこで本研究では,真の文字列反事実を生成するためのフレームワークを提案する。 我々の実験は、このアプローチが有意義な反事実を生み出すことを示した。
  論文  参考訳（メタデータ） (2024-11-11T17:57:30Z)
• Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
  現在のマルチモーダル大言語モデル(MLLM)に悩まされる幻覚 実世界のシナリオから得られた20,000以上のサンプルからなる関係幻覚を対象とするベンチマークであるReefknotを紹介する。 3つの異なるタスクに対する比較評価の結果、関係幻覚を緩和する現在のMLLMの能力に重大な欠点があることが判明した。
  論文  参考訳（メタデータ） (2024-08-18T10:07:02Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
  本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。 本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
  論文  参考訳（メタデータ） (2024-03-27T16:04:47Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。