論文の概要: Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation
- arxiv url: http://arxiv.org/abs/2604.15400v1
- Date: Thu, 16 Apr 2026 12:16:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-20 22:00:19.588088
- Title: Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation
- Title（参考訳）: トラジェクティブ・コミットとしての幻覚:トランスフォーマー生成における非対称トラクターダイナミクスの因果的証拠
- Authors: G. Aytug Akarlar,
- Abstract要約: 自己回帰言語モデルにおける幻覚は非対称的な誘引力学によって制御される。
高速分岐法を用いて、軌道力学をインパルスレベルから分離する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present causal evidence that hallucination in autoregressive language models is an early trajectory commitment governed by asymmetric attractor dynamics. Using same-prompt bifurcation, in which we repeatedly sample identical inputs to observe spontaneous divergence, we isolate trajectory dynamics from prompt-level confounds. On Qwen2.5-1.5B across 61 prompts spanning six categories, 27 prompts (44.3%) bifurcate with factual and hallucinated trajectories diverging at the first generated token (KL = 0 at step 0, KL > 1.0 at step 1). Activation patching across 28 layers reveals a pronounced causal asymmetry: injecting a hallucinated activation into a correct trajectory corrupts output in 87.5% of trials (layer 20), while the reverse recovers only 33.3% (layer 24); both exceed the 10.4% baseline (p = 0.025) and 12.5% random-patch control. Window patching shows correction requires sustained multi-step intervention, whereas corruption needs only a single perturbation. Probing the prompt encoding itself, step-0 residual states predict per-prompt hallucination rate at Pearson r = 0.776 at layer 15 (p < 0.001 against a 1000-permutation null); unsupervised clustering identifies five regime-like groups (eta^2 = 0.55) whose saddle-adjacent cluster concentrates 12 of the 13 bifurcating false-premise prompts, indicating that the basin structure is organized around regime commitments fixed at prompt encoding. These findings characterize hallucination as a locally stable attractor basin: entry is probabilistic and rapid, exit demands coordinated intervention across layers and steps, and the relevant basins are selected by clusterable regimes already discernible at step 0.
- Abstract（参考訳）: 自己回帰言語モデルにおける幻覚は、非対称な誘引子ダイナミクスによって支配される初期の軌道公約であることを示す因果的証拠を示す。
同一入力を繰り返しサンプリングして自然発散を観測する同プロンプト分岐法を用いて, 進行レベルから軌道動力学を分離する。
61の領域にわたるQwen2.5-1.5Bでは、6つのカテゴリにまたがる27のプロンプト(44.3%)が、第1生成トークン(ステップ0ではKL = 0、ステップ1ではKL > 1.0)で分岐する事実的かつ幻覚的な軌道と分岐する。
28層にわたる活性化パッチは顕著な因果非対称性を示す: 正しい軌道に幻覚的活性化を注入すると87.5%の試行(20層)で出力され、逆転は33.3%(24層)しか回復せず、どちらも10.4%のベースライン(p = 0.025)と12.5%のランダムパッチ制御を超える。
ウィンドウパッチは、修正には持続的な多段階の介入が必要であることを示しているが、汚職は1つの摂動しか必要としない。
Pearson r = 0.776 (p < 0.001 against a 1000-permutation null); 教師なしクラスタリングでは、サドル・アジャゼント・クラスタが13個の分岐する偽の前提のプロンプトのうち12個に集中している5つのレギュレーションのようなグループ(eta^2 = 0.55)を同定し、この盆地構造がプロンプトエンコード時に固定されたレギュレーションのコミットメントに基づいて構成されていることを示す。
これらの知見は幻覚を局所的に安定した誘引盆地として特徴付けており、侵入は確率的かつ迅速であり、出口要求は層とステップをまたいで協調的に介入し、関連する盆地はステップ 0 で既に識別可能なクラスター型レジームによって選択される。
関連論文リスト
- The Autocorrelation Blind Spot: Why 42% of Turn-Level Findings in LLM Conversation Analysis May Be Spurious [35.76482964927589]
202のマルチターン会話における66のターンレベルメトリクスの自己相関構造を特徴付ける。
標準プールテストでは,42%のアソシエーションがクラスタ・ロバスト補正に成功しなかった。
我々は、Chelton (1983) の有効自由度と会話レベルのブロックブートストラップを組み合わせた2段階補正フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-15T20:54:39Z) - Hierarchical Kernel Transformer: Multi-Scale Attention with an Information-Theoretic Approximation Analysis [0.0]
階層カーネル変換器(Hierarchical Kernel Transformer, HKT)は、訓練可能な因果ダウンサンプリングを通じてL解像度レベルでシーケンスを処理するマルチスケールアテンション機構である。
全計算コストは標準注意の4/3倍に制限され、L = 3 に対して 1.3125x に達する。
論文 参考訳（メタデータ） (2026-04-10T00:00:11Z) - Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models [6.5607014897534865]
7個の自己回帰変換器の幻覚表現の時間的ダイナミクスについて検討した。
4M以下のモデルでは、生成位置毎に確率レベルプローブの精度を示す。
7Bスケールでは、Pythia-6.9Bは平坦な時間プロファイルを、Qwen2.5-7Bは支配的な前世代効果を示す。
論文 参考訳（メタデータ） (2026-03-20T02:30:01Z) - Exhaustive Circuit Mapping of a Single-Cell Foundation Model Reveals Massive Redundancy, Heavy-Tailed Hub Architecture, and Layer-Dependent Differentiation Control [0.0]
本稿では, サーキットトレース, 高次アブレーション, 因果軌道ステアリングによる限界に対処する3つの実験について述べる。
第一に、第5層における4065個のアクティブオートエンコーダの特徴を徹底的に追跡すると、1393850の下流エッジが得られる。
第2に、8つの三つ子にまたがる3つの冗長性は、冗長性は相互作用順序とともに単調に深まることを示す。
第3に、軌道案内型特徴ステアリングは、層の位置と微分方向との因果関係を確立する。
論文 参考訳（メタデータ） (2026-03-12T13:53:20Z) - From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction [0.0]
幾何学的幻覚分類法が幻覚のタイプを識別できるかどうかを検証する。
1 と 2 はどちらの空間でも分離しない。
Type1/2非分離は124Mパラメータで真である。
論文 参考訳（メタデータ） (2026-02-27T20:56:59Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳（メタデータ） (2026-02-19T08:31:16Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z) - Hallucination, Monofacts, and Miscalibration: An Empirical Investigation [2.3278261859840104]
大規模言語モデルにおける有能な事実は、モノファクトレートによって決定される統計的下界に従う。
古典的なn-gramモデルと微調整エンコーダ・デコーダ変換器におけるこの3方向関係に関する最初の実証的研究を示す。
論文 参考訳（メタデータ） (2025-02-11T18:46:00Z) - Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。
そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。
良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。
我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
論文 参考訳（メタデータ） (2023-12-25T01:00:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。