論文の概要: Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data

• arxiv url: http://arxiv.org/abs/2409.00238v1
• Date: Fri, 30 Aug 2024 20:11:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 16:18:33.953284
• Title: Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data
• Title（参考訳）: 崩壊接地データを用いた事前学習型マルチモーダル幻覚検出装置
• Authors: Spencer Whitehead, Jacob Phillips, Sean Hendryx,
• Abstract要約: マルチモーダル言語モデルは、その出力に幻覚を示し、信頼性を制限できる。 本稿では, 崩壊した地盤データを作成することにより, これらのモデルのサンプル効率を向上させる手法を提案する。
• 参考スコア（独自算出の注目度）: 4.636499986218049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal language models can exhibit hallucinations in their outputs, which limits their reliability. The ability to automatically detect these errors is important for mitigating them, but has been less explored and existing efforts do not localize hallucinations, instead framing this as a classification task. In this work, we first pose multimodal hallucination detection as a sequence labeling task where models must localize hallucinated text spans and present a strong baseline model. Given the high cost of human annotations for this task, we propose an approach to improve the sample efficiency of these models by creating corrupted grounding data, which we use for pre-training. Leveraging phrase grounding data, we generate hallucinations to replace grounded spans and create hallucinated text. Experiments show that pre-training on this data improves sample efficiency when fine-tuning, and that the learning signal from the grounding data plays an important role in these improvements.
• Abstract（参考訳）: マルチモーダル言語モデルは、その出力に幻覚を示し、信頼性を制限できる。 これらの誤りを自動的に検出する能力は、それらを緩和する上で重要であるが、調査があまり行われておらず、既存の取り組みは幻覚を局所化せず、分類タスクとしてフレーミングする。 そこで本研究では,まず,モデルが幻覚テキストを局所化し,強いベースラインモデルを提示しなければならないシーケンスラベリングタスクとして,マルチモーダル幻覚検出を行う。 このタスクに対する人為的アノテーションのコストが高いことを前提として,事前学習に使用する劣化した接地データを作成することにより,これらのモデルのサンプル効率を向上させる手法を提案する。 句接地データを活用することで、接地されたスパンを置き換える幻覚を生成し、幻覚化されたテキストを生成する。 実験により、このデータによる事前学習は、微調整時のサンプル効率を向上し、グラウンドデータからの学習信号がこれらの改善に重要な役割を果たすことが示された。

関連論文リスト

• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation [17.102338932907294]
  我々はNMT幻覚研究の基礎を設定した。 テスト時に幻覚を緩和する簡単な方法であるDeHallucinatorを提案する。
  論文  参考訳（メタデータ） (2022-08-10T12:44:13Z)
• Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models [9.95909045828344]
  より効果的にするためには、幻覚過程は個々の文字や幹よりも音節のような長さに注意を払う必要がある。 トレーニングデータとテストデータが補題に重複しない場合に、従来のデータ幻覚法よりも幻覚モデルで有意なパフォーマンス改善を報告します。
  論文  参考訳（メタデータ） (2021-04-13T19:51:21Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。