Fugu-MT 論文翻訳(概要): Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling

論文の概要: Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling

arxiv url: http://arxiv.org/abs/2409.11283v3
Date: Wed, 25 Sep 2024 01:55:29 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 20:13:03.716447
Title: Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling
Title（参考訳）: グラフベース文脈知識トリプルモデリングによるテキスト生成のためのゼロリソース幻覚検出
Authors: Xinyue Fang, Zhen Huang, Zhiliang Tian, Minghui Fang, Ziyi Pan, Quntian Fang, Zhihua Wen, Hengyue Pan, Dongsheng Li,
Abstract要約: オープンな回答を持つテキスト生成のための幻覚検出はより困難である。外部資源のない長いテキストにおける幻覚の検出に関する最近の研究は、一貫性の比較を行っている。テキスト生成のためのグラフベースの文脈認識(GCA)幻覚検出を提案する。
参考スコア（独自算出の注目度）: 22.107187408777726
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLMs obtain remarkable performance but suffer from hallucinations. Most research on detecting hallucination focuses on the questions with short and concrete correct answers that are easy to check the faithfulness. Hallucination detections for text generation with open-ended answers are more challenging. Some researchers use external knowledge to detect hallucinations in generated texts, but external resources for specific scenarios are hard to access. Recent studies on detecting hallucinations in long text without external resources conduct consistency comparison among multiple sampled outputs. To handle long texts, researchers split long texts into multiple facts and individually compare the consistency of each pairs of facts. However, these methods (1) hardly achieve alignment among multiple facts; (2) overlook dependencies between multiple contextual facts. In this paper, we propose a graph-based context-aware (GCA) hallucination detection for text generations, which aligns knowledge facts and considers the dependencies between contextual knowledge triples in consistency comparison. Particularly, to align multiple facts, we conduct a triple-oriented response segmentation to extract multiple knowledge triples. To model dependencies among contextual knowledge triple (facts), we construct contextual triple into a graph and enhance triples' interactions via message passing and aggregating via RGCN. To avoid the omission of knowledge triples in long text, we conduct a LLM-based reverse verification via reconstructing the knowledge triples. Experiments show that our model enhances hallucination detection and excels all baselines.
Abstract（参考訳）: LLMは優れたパフォーマンスを得るが、幻覚に悩まされる。幻覚の検出に関するほとんどの研究は、忠実さの確認が容易な簡潔で具体的な正解の質問に焦点を当てている。オープンな回答を持つテキスト生成のための幻覚検出はより困難である。一部の研究者は、生成したテキストの幻覚を検出するために外部知識を使用しているが、特定のシナリオに対する外部リソースへのアクセスは困難である。外部資源のない長文テキストにおける幻覚検出に関する最近の研究は、複数のサンプル出力の整合性比較を行っている。長いテキストを扱うために、研究者は長いテキストを複数の事実に分割し、それぞれの事実の一貫性を個別に比較した。しかし,これらの手法は(1)複数の事実間の一致をほとんど達成しておらず,(2)複数の事実間の依存関係を見落としている。本稿では,テキスト生成のためのグラフベースの文脈認識(GCA)幻覚検出手法を提案する。特に,複数の事実を整列させるために,複数の知識を抽出する三方向応答セグメンテーションを行う。文脈知識三重項(ファクト)間の依存関係をモデル化するため、文脈三重項をグラフ内に構築し、RGCNを介してメッセージパッシングや集約を通じて三重項の相互作用を強化する。長文における知識三重項の欠落を回避するため,知識三重項の再構成によりLLMに基づく逆検証を行う。実験により,本モデルは幻覚検出を増強し,全てのベースラインを抜粋することが示された。

関連論文リスト

Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models [58.952782707682815]
COFTは、異なるレベルのキーテキストにフォーカスする新しい方法であり、長いコンテキストで失われることを避ける。知識幻覚ベンチマークの実験ではCOFTの有効性が示され、F1スコアの30%以上の性能が向上した。
論文参考訳（メタデータ） (2024-10-19T13:59:48Z)
A Multiple-Fill-in-the-Blank Exam Approach for Enhancing Zero-Resource Hallucination Detection in Large Language Models [0.9217021281095907]
大型言語モデル (LLM) はしばしば幻覚テキストを作成する。本稿では,マルチフィル・イン・ザ・ブランク試験を取り入れた幻覚検出手法を提案する。
論文参考訳（メタデータ） (2024-09-20T04:34:30Z)
Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models [13.48296910438554]
現在のマルチモーダル大言語モデル(MLLM)に悩まされる幻覚実世界のシナリオから得られた20,000以上のサンプルからなる関係幻覚を対象とするベンチマークであるReefknotを紹介する。 3つの異なるタスクに対する比較評価の結果、関係幻覚を緩和する現在のMLLMの能力に重大な欠点があることが判明した。
論文参考訳（メタデータ） (2024-08-18T10:07:02Z)
Lookback Lens: Detecting and Mitigating Contextual Hallucinations in Large Language Models Using Only Attention Maps [48.58310785625051]
大型言語モデル(LLM)は詳細を幻覚し、根拠のない回答で応答することができる。本稿では,このような文脈的幻覚を検出するための簡単なアプローチについて述べる。
論文参考訳（メタデータ） (2024-07-09T17:44:34Z)
Contextual Knowledge Pursuit for Faithful Visual Synthesis [33.191847768674826]
大きな言語モデル(LLM)では、幻覚を減らすための一般的な戦略は、外部データベースから事実知識を取得することである。本稿では,外部知識とパラメトリック知識の相補的強みを利用して,生成元が信頼できる視覚コンテンツを生成できるようにするフレームワークであるコンパラメトリック知識探索法(CKPT)を提案する。
論文参考訳（メタデータ） (2023-11-29T18:51:46Z)
Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文参考訳（メタデータ） (2023-11-22T08:39:17Z)
DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文参考訳（メタデータ） (2023-10-31T04:37:57Z)
SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models [55.60306377044225]
「SelfCheckGPT」は、ブラックボックスモデルの応答をファクトチェックする単純なサンプリングベースアプローチである。本稿では,GPT-3を用いてWikiBioデータセットから個人に関するパスを生成する手法について検討する。
論文参考訳（メタデータ） (2023-03-15T19:31:21Z)
Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search [54.286450484332505]
本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
論文参考訳（メタデータ） (2022-03-16T07:13:52Z)
Commonsense Knowledge Mining from Term Definitions [0.20305676256390934]
辞書用語の定義を入力として,コモンセンス知識を3重にマイニングする機械学習手法について検討する。実験の結果,用語の定義には意味的関係の3つの意味的知識が含まれていることがわかった。
論文参考訳（メタデータ） (2021-02-01T05:54:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。