論文の概要: First Hallucination Tokens Are Different from Conditional Ones

• arxiv url: http://arxiv.org/abs/2507.20836v2
• Date: Wed, 01 Oct 2025 16:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 14:33:21.683284
• Title: First Hallucination Tokens Are Different from Conditional Ones
• Title（参考訳）: 最初の幻覚トークンは条件と異なる
• Authors: Jakob Snel, Seong Joon Oh,
• Abstract要約: トークンレベルでの幻覚は、リアルタイムフィルタリングとターゲットの修正に不可欠である。 我々は、RAGTruthコーパスをトークンレベルのアノテーションと再現ロジットを用いて幻覚信号の解析を行う。 その結果,最初の幻覚トークンは強い信号を持ち,条件付きトークンよりも検出しやすくなった。
• 参考スコア（独自算出の注目度）: 21.63915824423508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination, the generation of untruthful content, is one of the major concerns regarding foundational models. Detecting hallucinations at the token level is vital for real-time filtering and targeted correction, yet the variation of hallucination signals within token sequences is not fully understood. Leveraging the RAGTruth corpus with token-level annotations and reproduced logits, we analyse how these signals depend on a token's position within hallucinated spans, contributing to an improved understanding of token-level hallucination. Our results show that the first hallucinated token carries a stronger signal and is more detectable than conditional tokens. We release our analysis framework, along with code for logit reproduction and metric computation at https://github.com/jakobsnl/RAGTruth\_Xtended.
• Abstract（参考訳）: 不合理なコンテンツの生成である幻覚は、基礎モデルに関する主要な関心事の1つである。 トークンレベルで幻覚を検出することは、リアルタイムフィルタリングや目標修正には不可欠であるが、トークンシーケンス内の幻覚信号の変動は、完全には理解されていない。 RAGTruthコーパスをトークンレベルのアノテーションと再現ロジットで利用し、これらの信号が幻覚的スパン内のトークンの位置に依存するかを分析し、トークンレベルの幻覚の理解の改善に寄与する。 その結果,最初の幻覚トークンは強い信号を持ち,条件付きトークンよりも検出しやすくなった。 我々は分析フレームワークをリリースし、https://github.com/jakobsnl/RAGTruth\_Xtendedでロジト再生とメートル法計算のコードを公開しました。

関連論文リスト

• Token-Guard: Towards Token-Level Hallucination Control via Self-Checking Decoding [8.629393350514972]
  Token-Guardは自己チェックデコードに基づくトークンレベルの幻覚制御手法である。 HALUデータセットの実験では、Token-Guardは幻覚を大幅に減らし、生成精度を向上させる。
  論文  参考訳（メタデータ） (2026-01-29T16:48:47Z)
• Measuring the Impact of Lexical Training Data Coverage on Hallucination Detection in Large Language Models [26.89705770151822]
  大規模言語モデル(LLM)における幻覚は、特にオープンドメインの質問応答において、根本的な課題である。 これまでの研究は、トークンレベルのエントロピーや生成一貫性といったモデル内部信号による幻覚の検出を試みた。 本研究では,データカバレッジ自体が検出信号として機能するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-22T06:59:55Z)
• Image Tokens Matter: Mitigating Hallucination in Discrete Tokenizer-based Large Vision-Language Models via Latent Editing [39.969451863788464]
  LVLM(Large Vision-Language Models)は、視覚入力を有限のトークン集合に符号化することで、マルチモーダル表現を統一する。 これらのモデルは、まだ存在しないオブジェクトを幻覚させる。 生成中の潜像埋め込みを変更することで、視覚的に欠落したトークンの影響を抑える幻覚緩和法を提案する。
  論文  参考訳（メタデータ） (2025-05-24T22:36:15Z)
• Seeing Far and Clearly: Mitigating Hallucinations in MLLMs with Attention Causal Decoding [33.33247964758369]
  我々は,トークンインタラクションプロセスから直接適切なコンテキスト情報を抽出できると主張している。 復号化戦略における因果推論に着想を得て、因果マスクを活用してマルチモーダルトークン間の情報伝達を確立することを提案する。 FarSightは汎用的なプラグ・アンド・プレイ・デコード方式で,外部トークンからの注意干渉を低減する。
  論文  参考訳（メタデータ） (2025-05-22T13:19:57Z)
• Mitigating Hallucinations in Vision-Language Models through Image-Guided Head Suppression [6.838584336878126]
  大型視覚言語モデル (LVLM) はしばしば幻覚に悩まされ、視覚的文脈と一致しないテキストを生成する。 推論時間介入による幻覚の低減を目的とした既存の手法は、遅延を著しく増加させる。 本稿では,タスクに依存しない注意誘導型頭部抑制戦略であるSPINについて述べる。
  論文  参考訳（メタデータ） (2025-05-22T09:00:57Z)
• Diverging Towards Hallucination: Detection of Failures in Vision-Language Models via Multi-token Aggregation [1.9226023650048942]
  視覚言語モデル(VLM)は、今や多くのマルチモーダルタスクにおいて人間のパフォーマンスと競合するが、それでもオブジェクトを幻覚させるか、安全でないテキストを生成する。 初期ロジットの完全配列を解析することで,診断情報が大幅に向上することが実証された。 マルチトークンの信頼性評価(MTRE, Multi-Token Reliability Estimation)は, マルチトークンの対数比と自己アテンションを用いて, 最初の10トークンからログを集約する軽量なホワイトボックス手法である。
  論文  参考訳（メタデータ） (2025-05-16T23:00:19Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
  本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。 主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。 ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T06:34:45Z)
• ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection [3.1269598124014264]
  本稿では、英語の幻覚検出データセットをドイツ語に拡張するデータセットであるANHALTENを紹介する。 これはトークンレベルの参照なし幻覚検出のための言語間移動を探求する最初の研究である。 サンプル効率の低い小ショット転送は,ほとんどの設定において最も効果的な手法であることを示す。
  論文  参考訳（メタデータ） (2024-07-18T17:01:38Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• ESREAL: Exploiting Semantic Reconstruction to Mitigate Hallucinations in Vision-Language Models [6.014286500397164]
  視覚言語モデルにおける幻覚は、特に長いキャプションの生成において、その信頼性に重大な課題をもたらす。 本研究では,幻覚の正確な局在化と罰則化による幻覚の発生抑制を目的とした,新しい教師なし学習フレームワークであるESREALを紹介する。 LLaVA, InstructBLIP, mPLUG-Owl2の幻覚を32.81%, 27.08%, 7.46%減少させる。
  論文  参考訳（メタデータ） (2024-03-24T14:21:06Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• On Early Detection of Hallucinations in Factual Question Answering [4.76359068115052]
  幻覚は依然として ユーザーの信頼を得るための大きな障害です 本研究では、モデル生成に関連するアーティファクトが、生成が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。 以上の結果から,これらのアーティファクトの分布は,ハロゲン化世代と非ハロゲン化世代の違いが示唆された。
  論文  参考訳（メタデータ） (2023-12-19T14:35:04Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
  本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。 また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T05:20:02Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。