論文の概要: Does the Generator Mind its Contexts? An Analysis of Generative Model Faithfulness under Context Transfer

• arxiv url: http://arxiv.org/abs/2402.14488v1
• Date: Thu, 22 Feb 2024 12:26:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 15:26:21.732444
• Title: Does the Generator Mind its Contexts? An Analysis of Generative Model Faithfulness under Context Transfer
• Title（参考訳）: 発電機はコンテキストを意識しているか? 文脈伝達下における生成モデル忠実性の解析
• Authors: Xinshuo Hu and Baotian Hu and Dongfang Li and Xiaoguang Li and Lifeng Shang
• Abstract要約: 本研究は,文脈知識に根ざした情報を生成するための知識増強ジェネレータについて紹介する。 我々の目的は、文脈的知識が変化した際のパラメトリック記憶から生じる幻覚の存在を探ることである。
• 参考スコア（独自算出の注目度）: 42.081311699224585
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The present study introduces the knowledge-augmented generator, which is specifically designed to produce information that remains grounded in contextual knowledge, regardless of alterations in the context. Previous research has predominantly focused on examining hallucinations stemming from static input, such as in the domains of summarization or machine translation. However, our investigation delves into the faithfulness of generative question answering in the presence of dynamic knowledge. Our objective is to explore the existence of hallucinations arising from parametric memory when contextual knowledge undergoes changes, while also analyzing the underlying causes for their occurrence. In order to efficiently address this issue, we propose a straightforward yet effective measure for detecting such hallucinations. Intriguingly, our investigation uncovers that all models exhibit a tendency to generate previous answers as hallucinations. To gain deeper insights into the underlying causes of this phenomenon, we conduct a series of experiments that verify the critical role played by context in hallucination, both during training and testing, from various perspectives.
• Abstract（参考訳）: 本研究は,文脈の変化によらず,文脈知識に根ざした情報を生成するために特別に設計された知識提示生成器を提案する。 これまでの研究は主に、要約や機械翻訳といった静的入力から生じる幻覚を調べることに重点を置いてきた。 しかし,本研究では,動的知識の存在下での生成的質問応答の忠実性について考察する。 本研究の目的は,文脈的知識が変化した際のパラメトリック記憶から生じる幻覚の存在を探索し,その発生原因を解析することである。 そこで本研究では,このような幻覚を簡便かつ効果的な方法で検出する手法を提案する。 興味深いことに、調査の結果、すべてのモデルが幻覚として過去の回答を生成する傾向があることが判明した。 この現象の根本原因についてより深い知見を得るため、様々な視点から、訓練とテストの両方において、幻覚における文脈が果たす重要な役割を検証する一連の実験を行った。

関連論文リスト

• What are Models Thinking about? Understanding Large Language Model Hallucinations "Psychology" through Model Inner State Analysis [5.8289838136060155]
  大規模言語モデルの推論の内部状態は、多くの研究で広く使われている。 本稿では,前向き推論における各内部状態の特徴を解析し,幻覚検出の能力を評価する。
  論文  参考訳（メタデータ） (2025-02-19T07:23:18Z)
• Can Your Uncertainty Scores Detect Hallucinated Entity? [14.432545893757677]
  本稿では,エンティティレベルで幻覚を注釈する新たなデータセットであるHaluEntityを提案する。 このデータセットに基づいて、17の近代LCMにおける不確実性に基づく幻覚検出手法を評価する。 実験の結果,個々のトークン確率に着目した不確実性推定手法は幻覚を過度に予測する傾向があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T16:01:41Z)
• Who Brings the Frisbee: Probing Hidden Hallucination Factors in Large Vision-Language Model via Causality Analysis [14.033320167387194]
  現実の応用における大きな課題は幻覚であり、LVLMは存在しない視覚要素を生成し、ユーザの信頼を損なう。 我々は、オブジェクト、コンテキスト、セマンティックフォアグラウンド・バックグラウンド構造といった隠れた要因が幻覚を引き起こすという仮説を立てた。 画像・テキスト・プロンプト・ネットワーク・サリエンシの因果関係を解析することにより,これらの要因をブロックするための介入を系統的に検討する。
  論文  参考訳（メタデータ） (2024-12-04T01:23:57Z)
• A Cause-Effect Look at Alleviating Hallucination of Knowledge-grounded Dialogue Generation [51.53917938874146]
  我々は,対話知識の相互作用を利用して,KGDの幻覚を緩和するための解決策を提案する。 本手法は,他の対話性能を損なうことなく幻覚を低減できることを示す。
  論文  参考訳（メタデータ） (2024-04-04T14:45:26Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• On Hallucination and Predictive Uncertainty in Conditional Language Generation [76.18783678114325]
  高い予測の不確実性は幻覚の確率が高い。 認識的不確実性は、アレエータ的あるいは全体的不確実性よりも幻覚の指標である。 提案したビームサーチ変種との幻覚を抑えるため、標準メートル法で取引性能のより良い結果を得るのに役立ちます。
  論文  参考訳（メタデータ） (2021-03-28T00:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。