論文の概要: Hallucinations as Orthogonal Noise: Inference-Time Manifold Alignment via Dynamic Contextual Orthogonalization

• arxiv url: http://arxiv.org/abs/2606.03022v1
• Date: Tue, 02 Jun 2026 01:56:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.6843
• Title: Hallucinations as Orthogonal Noise: Inference-Time Manifold Alignment via Dynamic Contextual Orthogonalization
• Title（参考訳）: 直交雑音としての幻覚:動的文脈直交化による推論時マニフォールドアライメント
• Authors: Mingkuan Zhao, Wentao Hu, Tianchen Huang, Yuheng Min, Suquan Chen, Yide Gao, Yanbo Zhai, Shuangyong Song, Xuelong Li,
• Abstract要約: 大規模言語モデル(LLM)における幻覚は、文脈的事実や論理的制約と矛盾するコンテンツの生成によって特徴づけられる。 推論時間介入法である動的文脈直交化(DCO)を導入する。 本研究は,幻覚の幾何学的解釈を検証し,多様体アライメントの計算的手法としてDCOを確立した。
• 参考スコア（独自算出の注目度）: 42.03279303599381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination in Large Language Models (LLMs), characterized by the generation of content inconsistent with contextual facts or logical constraints -- remains a persistent challenge for reliable deployment. In this work, we address this issue through a geometric framework rooted in the linear representation hypothesis. We propose that hallucinations manifest as orthogonal noise relative to the semantic manifold of the residual stream. Specifically, we hypothesize that while attention heads ideally propagate information congruent with the context subspace, hallucinations arise when specific heads introduce components orthogonal to this subspace, disrupting the coherence of the latent representation. Based on this formulation, we introduce Dynamic Contextual Orthogonalization (DCO), an inference-time intervention method. DCO utilizes the input residual stream as a dynamic context anchor to perform orthogonal decomposition on attention head outputs. To distinguish between context-aligned semantic updates and divergent noise, DCO employs a layer-wise Z-score suppression mechanism that selectively attenuates outlier orthogonal components based on statistical distributions. Evaluations on Llama-3-8B and 70B across benchmarks such as XSum, NQ-Swap, and IFEval demonstrate that DCO achieves superior contextual faithfulness compared to state-of-the-art intervention baselines. Furthermore, DCO maintains high performance on knowledge-intensive tasks like TriviaQA and TruthfulQA, effectively mitigating the trade-off between hallucination suppression and parametric knowledge retention often observed in existing methods. Our findings validate the geometric interpretation of hallucinations and establish DCO as a computationally efficient approach for enforcing manifold alignment.Our code is available at https://github.com/Harry-Miral/DCO
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚(Halucination in Large Language Models)は、コンテキスト的事実や論理的制約と矛盾するコンテンツの生成によって特徴づけられる。 本研究では,線形表現仮説に根ざした幾何学的枠組みを用いてこの問題に対処する。 残流のセマンティック多様体に対して直交雑音として現れる幻覚について提案する。 具体的には、アテンションヘッドがコンテキスト部分空間と一致した情報を理想的に伝播する一方で、特定のヘッドがこの部分空間に直交する成分を導入すると幻覚が起こり、潜在表現のコヒーレンスを乱すという仮説を立てる。 この定式化に基づいて、推論時間介入法である動的文脈直交化(DCO)を導入する。 DCOは入力残差ストリームを動的コンテキストアンカーとして利用し、アテンションヘッド出力の直交分解を行う。 文脈整合の意味的更新と発散ノイズを区別するために、DCOは統計分布に基づいて外部の直交成分を選択的に減衰させる階層的Zスコア抑制機構を採用している。 XSum、NQ-Swap、IFEvalなどのベンチマークによるLlama-3-8Bと70Bの評価は、DCOが最先端の介入ベースラインよりも優れたコンテキスト忠実性を達成することを示した。 さらに、DCOはTriviaQAやTruthfulQAのような知識集約的なタスクにおいて高いパフォーマンスを維持しており、既存の手法でよく見られる幻覚抑制とパラメトリックな知識保持のトレードオフを効果的に緩和している。 我々のコードはhttps://github.com/Harry-Miral/DCOで公開されている。

関連論文リスト

• Mitigating Object Hallucinations in Vision-Language Models through Region-Aware Attention Recalibration [7.647944993041615]
  本研究では,急激な乱れに頼らずに,動的に意味的ドリフトを補正する学習自由推論手法を提案する。 様々な注意点にまたがる不規則な統計的中間点を計算することにより、信頼性の高い視覚表現のための安定なアンカーを確立する。 この再校正プロセスは、生成頻度と言語前兆を完全に保ちながら、視覚的意味的ミスアライメントを効果的に補正する。
  論文  参考訳（メタデータ） (2026-05-24T09:14:49Z)
• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation [33.381194425912234]
  視覚言語モデル(VLM)はしばしば幻覚に悩まされ、視覚入力と矛盾するコンテンツを生成する。 SAGE, Sink-Aware Grounded Decoding frameworkは, 生成中の自己注意を動的に調節することで幻覚を緩和する。 本手法は,MSCOCOでは10.65%,AMBERでは7.19%の相対的改善を実現している。
  論文  参考訳（メタデータ） (2026-03-29T22:52:03Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
  マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。 textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
  論文  参考訳（メタデータ） (2026-02-03T11:00:55Z)
• Hallucination Benchmark for Speech Foundation Models [33.92968426403491]
  自動音声認識(ASR)システムにおける幻覚とは、基礎となる音響入力(すなわち、音声信号)とは全く無関係な神経性ASRモデルによって生成される流動的でコヒーレントな転写を指す。 この明らかな一貫性は、その後の処理段階を誤解させ、特に医療や法のような重要な領域において重大なリスクをもたらす可能性がある。 本稿では,ASRにおける幻覚現象を,語彙,音声,形態,意味の4つの相補軸に沿って体系的に分類し,定量化する最初のベンチマークフレームワークであるSHALLOWを紹介する。
  論文  参考訳（メタデータ） (2025-10-18T16:26:16Z)
• Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models [3.9464481148889354]
  層集約(DCLA)による層間整合性を用いた復号化機構を提案する。 提案手法は,従来のレイヤから表現を集約することで動的セマンティック参照を構築し,階層間の一貫性を強制するために意味的に逸脱したレイヤを補正する。 MMEやPOPEのような幻覚ベンチマークの実験では、DCLAはLVLMの信頼性と性能を高めつつ、幻覚を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2025-05-18T10:15:42Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。