論文の概要: ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection
- arxiv url: http://arxiv.org/abs/2407.13702v1
- Date: Thu, 18 Jul 2024 17:01:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 14:31:41.184895
- Title: ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection
- Title（参考訳）: ANHALTEN:ドイツ語トーケンレベル参照フリー幻覚検出のための言語間変換
- Authors: Janek Herrlein, Chia-Chien Hung, Goran Glavaš,
- Abstract要約: 本稿では、英語の幻覚検出データセットをドイツ語に拡張するデータセットであるANHALTENを紹介する。
これはトークンレベルの参照なし幻覚検出のための言語間移動を探求する最初の研究である。
サンプル効率の低い小ショット転送は,ほとんどの設定において最も効果的な手法であることを示す。
- 参考スコア（独自算出の注目度）: 3.1269598124014264
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Research on token-level reference-free hallucination detection has predominantly focused on English, primarily due to the scarcity of robust datasets in other languages. This has hindered systematic investigations into the effectiveness of cross-lingual transfer for this important NLP application. To address this gap, we introduce ANHALTEN, a new evaluation dataset that extends the English hallucination detection dataset to German. To the best of our knowledge, this is the first work that explores cross-lingual transfer for token-level reference-free hallucination detection. ANHALTEN contains gold annotations in German that are parallel (i.e., directly comparable to the original English instances). We benchmark several prominent cross-lingual transfer approaches, demonstrating that larger context length leads to better hallucination detection in German, even without succeeding context. Importantly, we show that the sample-efficient few-shot transfer is the most effective approach in most setups. This highlights the practical benefits of minimal annotation effort in the target language for reference-free hallucination detection. Aiming to catalyze future research on cross-lingual token-level reference-free hallucination detection, we make ANHALTEN publicly available: https://github.com/janekh24/anhalten
- Abstract（参考訳）: トークンレベルの参照なし幻覚検出の研究は、主に英語に焦点を当てている。
これにより、この重要なNLPアプリケーションに対する言語間移動の有効性に関する体系的な研究が妨げられている。
このギャップに対処するために、英語の幻覚検出データセットをドイツ語に拡張する新しい評価データセットであるANHALTENを導入する。
我々の知る限りでは、トークンレベルの参照なし幻覚検出のための言語間移動を探求する最初の研究である。
ANHALTENは、ドイツ語で平行な金のアノテーションを含んでいる(つまり、元の英語のインスタンスと直接に匹敵する)。
そこで我々は,言語間移動のアプローチをいくつかの顕著なベンチマークで評価し,より大きな文脈長が,文脈を成功させることなく,ドイツ語の幻覚検出の精度を向上させることを示した。
重要なことは、ほとんどのセットアップにおいて、サンプル効率のよい少数ショット転送が最も効果的なアプローチであることを示している。
これは、参照なし幻覚検出のためのターゲット言語における最小限のアノテーションの取り組みの実践的メリットを強調している。
トークンレベルの参照なし幻覚検出に関する将来の研究を触媒することを目的として、ANHALTENを一般公開する。
関連論文リスト
- MetaToken: Detecting Hallucination in Image Descriptions by Meta Classification [1.3654846342364308]
トークンレベルの幻覚を無視可能なコストで検出する軽量バイナリ分類器であるMetaTokenを紹介する。
統計的解析から,これまでの研究で注目されていたLVLMの幻覚の要因を明らかにした。
提案手法の有効性を示す4種類のLVLMについて検討した。
論文 参考訳（メタデータ） (2024-05-29T15:28:42Z) - Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。
プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。
そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文 参考訳（メタデータ） (2024-04-22T14:46:10Z) - German also Hallucinates! Inconsistency Detection in News Summaries with the Absinth Dataset [3.5206745486062636]
この研究は、ドイツのニュース要約における幻覚検出のための手動注釈付きデータセットであるabsinthを提示する。
我々は,ドイツ語における幻覚検出のさらなる研究を促進するために,アブシンスデータセットをオープンソース化し,公開する。
論文 参考訳（メタデータ） (2024-03-06T14:37:30Z) - Comparing Hallucination Detection Metrics for Multilingual Generation [62.97224994631494]
本稿では,各言語にまたがって生成した伝記要約における幻覚を,様々な事実の幻覚検出指標がいかによく識別するかを評価する。
自動測度が相互にどのように相関するか, 事実判断に一致しているかを比較検討した。
我々の分析によると、語彙指標は非効率であるが、NLIベースのメトリクスはよく機能し、多くの設定における人間のアノテーションと相関し、しばしば教師付きモデルよりも優れている。
論文 参考訳（メタデータ） (2024-02-16T08:10:34Z) - OPERA: Alleviating Hallucination in Multi-Modal Large Language Models
via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。
私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。
この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
論文 参考訳（メタデータ） (2023-11-29T18:57:07Z) - Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。
LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。
LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T08:39:17Z) - Detecting and Mitigating Hallucinations in Multilingual Summarisation [40.5267502712576]
幻覚は抽象的な要約のためのニューラルネットワークの信頼性に重大な課題をもたらす。
我々は、非英語要約の忠実度を評価する新しい計量mFACTを開発した。
そこで我々は,言語間移動による幻覚を減らすための,シンプルだが効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-05-23T02:59:25Z) - Looking for a Needle in a Haystack: A Comprehensive Study of
Hallucinations in Neural Machine Translation [17.102338932907294]
我々はNMT幻覚研究の基礎を設定した。
テスト時に幻覚を緩和する簡単な方法であるDeHallucinatorを提案する。
論文 参考訳（メタデータ） (2022-08-10T12:44:13Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。
また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文 参考訳（メタデータ） (2020-11-05T00:18:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。