論文の概要: Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation

• arxiv url: http://arxiv.org/abs/2604.15400v1
• Date: Thu, 16 Apr 2026 12:16:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.588088
• Title: Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation
• Title（参考訳）: トラジェクティブ・コミットとしての幻覚:トランスフォーマー生成における非対称トラクターダイナミクスの因果的証拠
• Abstract要約: 自己回帰言語モデルにおける幻覚は非対称的な誘引力学によって制御される。 高速分岐法を用いて、軌道力学をインパルスレベルから分離する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present causal evidence that hallucination in autoregressive language models is an early trajectory commitment governed by asymmetric attractor dynamics. Using same-prompt bifurcation, in which we repeatedly sample identical inputs to observe spontaneous divergence, we isolate trajectory dynamics from prompt-level confounds. On Qwen2.5-1.5B across 61 prompts spanning six categories, 27 prompts (44.3%) bifurcate with factual and hallucinated trajectories diverging at the first generated token (KL = 0 at step 0, KL > 1.0 at step 1). Activation patching across 28 layers reveals a pronounced causal asymmetry: injecting a hallucinated activation into a correct trajectory corrupts output in 87.5% of trials (layer 20), while the reverse recovers only 33.3% (layer 24); both exceed the 10.4% baseline (p = 0.025) and 12.5% random-patch control. Window patching shows correction requires sustained multi-step intervention, whereas corruption needs only a single perturbation. Probing the prompt encoding itself, step-0 residual states predict per-prompt hallucination rate at Pearson r = 0.776 at layer 15 (p < 0.001 against a 1000-permutation null); unsupervised clustering identifies five regime-like groups (eta^2 = 0.55) whose saddle-adjacent cluster concentrates 12 of the 13 bifurcating false-premise prompts, indicating that the basin structure is organized around regime commitments fixed at prompt encoding. These findings characterize hallucination as a locally stable attractor basin: entry is probabilistic and rapid, exit demands coordinated intervention across layers and steps, and the relevant basins are selected by clusterable regimes already discernible at step 0.
• Abstract（参考訳）: 自己回帰言語モデルにおける幻覚は、非対称な誘引子ダイナミクスによって支配される初期の軌道公約であることを示す因果的証拠を示す。 同一入力を繰り返しサンプリングして自然発散を観測する同プロンプト分岐法を用いて, 進行レベルから軌道動力学を分離する。 61の領域にわたるQwen2.5-1.5Bでは、6つのカテゴリにまたがる27のプロンプト(44.3%)が、第1生成トークン(ステップ0ではKL = 0、ステップ1ではKL > 1.0)で分岐する事実的かつ幻覚的な軌道と分岐する。 28層にわたる活性化パッチは顕著な因果非対称性を示す: 正しい軌道に幻覚的活性化を注入すると87.5%の試行(20層)で出力され、逆転は33.3%(24層)しか回復せず、どちらも10.4%のベースライン(p = 0.025)と12.5%のランダムパッチ制御を超える。 ウィンドウパッチは、修正には持続的な多段階の介入が必要であることを示しているが、汚職は1つの摂動しか必要としない。 Pearson r = 0.776 (p < 0.001 against a 1000-permutation null); 教師なしクラスタリングでは、サドル・アジャゼント・クラスタが13個の分岐する偽の前提のプロンプトのうち12個に集中している5つのレギュレーションのようなグループ(eta^2 = 0.55)を同定し、この盆地構造がプロンプトエンコード時に固定されたレギュレーションのコミットメントに基づいて構成されていることを示す。 これらの知見は幻覚を局所的に安定した誘引盆地として特徴付けており、侵入は確率的かつ迅速であり、出口要求は層とステップをまたいで協調的に介入し、関連する盆地はステップ 0 で既に識別可能なクラスター型レジームによって選択される。

関連論文リスト

• K/V-Cache Interventions Dissociate Representation Alignment from Persona Expression in Decoder-Only Language Models [32.7114174898989]
  我々は,デコーダのみの言語モデルにおけるペルソナ制御のための構造化曲面として,K/V-cacheの介入について検討する。 表現レベルのアライメントと行動表現の間には2つの一貫した普遍性があり,また位置摂動下での共通の失敗も報告する。
  論文  参考訳（メタデータ） (2026-09-10T02:56:50Z)
• Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
  内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。 予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
  論文  参考訳（メタデータ） (2026-09-01T10:46:42Z)
• Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction? [0.0]
  介入データは 因果推論の モデルを教えるための金の基準として 広く見なされている 我々は、この仮定を、因果効果に対する観察的相関を考慮し、完全に制御された合成環境において検証する。 介入証拠が使用されているかどうかを規定するものは、トレーニングミックスではなく、推論時に文脈に存在するエビデンスタイプである。
  論文  参考訳（メタデータ） (2026-07-31T14:49:18Z)
• Verifier-Guided Twelve-Tone Composition: A Generate-Verify-Repair Harness for Symbolic Music Generation [37.048771679940984]
  本稿では,言語モデルの提案を表現的検証を伴う生成-検証-再生-トレースループでラップするニューロシンボリックハーネスを提案する。 完全なパイプラインは、全体の合法性を主張することなく、イベントローカルの一貫性を改善する。
  論文  参考訳（メタデータ） (2026-07-13T09:52:09Z)
• Scaffold splits hide structural-frontier failures in ADMET models [25.408600489964726]
  我々は,最も広く,最も物理化学的に遠隔的な足場群を予約するラベルフリーな構造フロンティアスプリットを導入する。 ADMETタスクを6つの公開実験またはキュレートしたADMETタスクで評価した。
  論文  参考訳（メタデータ） (2026-07-12T12:25:50Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Margin-calibrated Classifier Guidance for Property-driven Synthesis Planning [23.782236689125995]
  比較的議論とマージンに基づく損失を利用して分類器の校正を行うSCR(Sequence Completion Ranking)を導入する。 SCRはマルチステップ解決率を16.8%ドル(無誘導発電機)から78.4%ドル(反応型誘導)、9.3%ドル(谷本誘導)に大幅に改善している。 また,テンプレートフリー手法とテンプレートベース手法の長期的多様性ギャップを効果的に解消する。
  論文  参考訳（メタデータ） (2026-05-13T07:12:53Z)
• Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs [9.127363793428119]
  摂動探索は、大規模言語モデルにおけるFFNニューロンに対するタスク特異的因果仮説を生成する。 8つの動作回路、13のモデル、および4つのアーキテクチャファミリにまたがって、LLMの動作を整理する2つの回路構造を同定する。
  論文  参考訳（メタデータ） (2026-04-30T04:13:33Z)
• The Autocorrelation Blind Spot: Why 42% of Turn-Level Findings in LLM Conversation Analysis May Be Spurious [35.76482964927589]
  202のマルチターン会話における66のターンレベルメトリクスの自己相関構造を特徴付ける。 標準プールテストでは,42%のアソシエーションがクラスタ・ロバスト補正に成功しなかった。 我々は、Chelton (1983) の有効自由度と会話レベルのブロックブートストラップを組み合わせた2段階補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-15T20:54:39Z)
• Hierarchical Kernel Transformer: Multi-Scale Attention with an Information-Theoretic Approximation Analysis [0.0]
  階層カーネル変換器(Hierarchical Kernel Transformer, HKT)は、訓練可能な因果ダウンサンプリングを通じてL解像度レベルでシーケンスを処理するマルチスケールアテンション機構である。 全計算コストは標準注意の4/3倍に制限され、L = 3 に対して 1.3125x に達する。
  論文  参考訳（メタデータ） (2026-04-10T00:00:11Z)
• Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models [6.5607014897534865]
  7個の自己回帰変換器の幻覚表現の時間的ダイナミクスについて検討した。 4M以下のモデルでは、生成位置毎に確率レベルプローブの精度を示す。 7Bスケールでは、Pythia-6.9Bは平坦な時間プロファイルを、Qwen2.5-7Bは支配的な前世代効果を示す。
  論文  参考訳（メタデータ） (2026-03-20T02:30:01Z)
• Exhaustive Circuit Mapping of a Single-Cell Foundation Model Reveals Massive Redundancy, Heavy-Tailed Hub Architecture, and Layer-Dependent Differentiation Control [0.0]
  本稿では, サーキットトレース, 高次アブレーション, 因果軌道ステアリングによる限界に対処する3つの実験について述べる。 第一に、第5層における4065個のアクティブオートエンコーダの特徴を徹底的に追跡すると、1393850の下流エッジが得られる。 第2に、8つの三つ子にまたがる3つの冗長性は、冗長性は相互作用順序とともに単調に深まることを示す。 第3に、軌道案内型特徴ステアリングは、層の位置と微分方向との因果関係を確立する。
  論文  参考訳（メタデータ） (2026-03-12T13:53:20Z)
• From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction [0.0]
  幾何学的幻覚分類法が幻覚のタイプを識別できるかどうかを検証する。 1 と 2 はどちらの空間でも分離しない。 Type1/2非分離は124Mパラメータで真である。
  論文  参考訳（メタデータ） (2026-02-27T20:56:59Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)
• AgentHallu: Benchmarking Automated Hallucination Attribution of LLM-based Agents [30.66751974860931]
  単ターン応答における幻覚検出には、どのステップが最初の発散を引き起こすかを特定する必要がある。 そこで本研究では,LLMをベースとしたエージェントの自動幻覚帰属(automatic hallucination attribution of LLM-based agent)を提案する。 AgentHalluは7つのエージェントフレームワークと5つのドメインにまたがる693の高品質なトラジェクトリを備えた総合ベンチマークである。 最高のパフォーマンスモデルは41.1%のステップのローカライズ精度しか達成せず、道具の使用による幻覚が最も難しいのは11.6%である。
  論文  参考訳（メタデータ） (2026-01-11T09:04:26Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• Hallucination, Monofacts, and Miscalibration: An Empirical Investigation [2.3278261859840104]
  大規模言語モデルにおける有能な事実は、モノファクトレートによって決定される統計的下界に従う。 古典的なn-gramモデルと微調整エンコーダ・デコーダ変換器におけるこの3方向関係に関する最初の実証的研究を示す。
  論文  参考訳（メタデータ） (2025-02-11T18:46:00Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。