Fugu-MT 論文翻訳(概要): First Hallucination Tokens Are Different from Conditional Ones

論文の概要: First Hallucination Tokens Are Different from Conditional Ones

arxiv url: http://arxiv.org/abs/2507.20836v3
Date: Thu, 02 Oct 2025 23:56:25 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-06 16:35:51.958827
Title: First Hallucination Tokens Are Different from Conditional Ones
Title（参考訳）: 最初の幻覚トークンは条件と異なる
Authors: Jakob Snel, Seong Joon Oh,
Abstract要約: 最初の幻覚トークンは、その後のトークンよりもはるかに検出可能である。この構造特性はモデル全体で保持され、最初の幻覚トークンがトークンレベルの幻覚検出において重要な役割を果たすことを示唆している。
参考スコア（独自算出の注目度）: 21.63915824423508
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) hallucinate, and detecting these cases is key to ensuring trust. While many approaches address hallucination detection at the response or span level, recent work explores token-level detection, enabling more fine-grained intervention. However, the distribution of hallucination signal across sequences of hallucinated tokens remains unexplored. We leverage token-level annotations from the RAGTruth corpus and find that the first hallucinated token is far more detectable than later ones. This structural property holds across models, suggesting that first hallucination tokens play a key role in token-level hallucination detection. Our code is available at https://github.com/jakobsnl/RAGTruth\_Xtended.
Abstract（参考訳）: 大きな言語モデル(LLM)は幻覚を与え、これらのケースを検知することが信頼を確保する鍵となる。多くのアプローチが応答やスパンレベルで幻覚検出に対処しているが、最近の研究はトークンレベルの検出を探求し、よりきめ細かい介入を可能にしている。しかし、幻覚化トークンの配列間の幻覚信号の分布は未解明のままである。 RAGTruth corpus からのトークンレベルのアノテーションを活用し、最初の幻覚トークンは、その後のトークンよりもはるかに検出可能であることを発見した。この構造特性はモデル全体で保持され、最初の幻覚トークンがトークンレベルの幻覚検出において重要な役割を果たすことを示唆している。私たちのコードはhttps://github.com/jakobsnl/RAGTruth\_Xtendedで利用可能です。

関連論文リスト

Image Tokens Matter: Mitigating Hallucination in Discrete Tokenizer-based Large Vision-Language Models via Latent Editing [39.969451863788464]
LVLM(Large Vision-Language Models)は、視覚入力を有限のトークン集合に符号化することで、マルチモーダル表現を統一する。これらのモデルは、まだ存在しないオブジェクトを幻覚させる。生成中の潜像埋め込みを変更することで、視覚的に欠落したトークンの影響を抑える幻覚緩和法を提案する。
論文参考訳（メタデータ） (2025-05-24T22:36:15Z)
Seeing Far and Clearly: Mitigating Hallucinations in MLLMs with Attention Causal Decoding [33.33247964758369]
我々は,トークンインタラクションプロセスから直接適切なコンテキスト情報を抽出できると主張している。復号化戦略における因果推論に着想を得て、因果マスクを活用してマルチモーダルトークン間の情報伝達を確立することを提案する。 FarSightは汎用的なプラグ・アンド・プレイ・デコード方式で,外部トークンからの注意干渉を低減する。
論文参考訳（メタデータ） (2025-05-22T13:19:57Z)
Mitigating Hallucinations in Vision-Language Models through Image-Guided Head Suppression [6.838584336878126]
大型視覚言語モデル (LVLM) はしばしば幻覚に悩まされ、視覚的文脈と一致しないテキストを生成する。推論時間介入による幻覚の低減を目的とした既存の手法は、遅延を著しく増加させる。本稿では,タスクに依存しない注意誘導型頭部抑制戦略であるSPINについて述べる。
論文参考訳（メタデータ） (2025-05-22T09:00:57Z)
Diverging Towards Hallucination: Detection of Failures in Vision-Language Models via Multi-token Aggregation [1.9226023650048942]
視覚言語モデル(VLM)は、今や多くのマルチモーダルタスクにおいて人間のパフォーマンスと競合するが、それでもオブジェクトを幻覚させるか、安全でないテキストを生成する。初期ロジットの完全配列を解析することで,診断情報が大幅に向上することが実証された。マルチトークンの信頼性評価(MTRE, Multi-Token Reliability Estimation)は, マルチトークンの対数比と自己アテンションを用いて, 最初の10トークンからログを集約する軽量なホワイトボックス手法である。
論文参考訳（メタデータ） (2025-05-16T23:00:19Z)
HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文参考訳（メタデータ） (2025-04-24T13:40:27Z)
Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
論文参考訳（メタデータ） (2025-04-17T06:34:45Z)
Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
論文参考訳（メタデータ） (2024-05-28T23:36:00Z)
ESREAL: Exploiting Semantic Reconstruction to Mitigate Hallucinations in Vision-Language Models [6.014286500397164]
視覚言語モデルにおける幻覚は、特に長いキャプションの生成において、その信頼性に重大な課題をもたらす。本研究では,幻覚の正確な局在化と罰則化による幻覚の発生抑制を目的とした,新しい教師なし学習フレームワークであるESREALを紹介する。 LLaVA, InstructBLIP, mPLUG-Owl2の幻覚を32.81%, 27.08%, 7.46%減少させる。
論文参考訳（メタデータ） (2024-03-24T14:21:06Z)
Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文参考訳（メタデータ） (2023-12-25T12:32:49Z)
OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
論文参考訳（メタデータ） (2023-11-29T18:57:07Z)
Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
論文参考訳（メタデータ） (2022-10-24T13:30:54Z)
Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
論文参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。