論文の概要: From Dispersion to Attraction: Spectral Dynamics of Hallucination Across Whisper Model Scales

• arxiv url: http://arxiv.org/abs/2604.08591v1
• Date: Tue, 31 Mar 2026 22:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.472245
• Title: From Dispersion to Attraction: Spectral Dynamics of Hallucination Across Whisper Model Scales
• Title（参考訳）: 分散から誘引へ:Whisperモデルスケールにおける幻覚のスペクトルダイナミクス
• Abstract要約: 層状ゲインとアライメントが支配するアトラクタ・アトラクションへの深層ネットワークの位相遷移を予測できるtextitSpectral Sensitivity Theoremを提案する。 我々は,Whisperモデルの活性化グラフの固有スペクトル(Tiny to Large-v3-Turbo)を逆応力下で解析することにより,この理論を検証した。
• 参考スコア（独自算出の注目度）: 0.19116784879310025
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hallucinations in large ASR models present a critical safety risk. In this work, we propose the \textit{Spectral Sensitivity Theorem}, which predicts a phase transition in deep networks from a dispersive regime (signal decay) to an attractor regime (rank-1 collapse) governed by layer-wise gain and alignment. We validate this theory by analyzing the eigenspectra of activation graphs in Whisper models (Tiny to Large-v3-Turbo) under adversarial stress. Our results confirm the theoretical prediction: intermediate models exhibit \textit{Structural Disintegration} (Regime I), characterized by a $13.4\%$ collapse in Cross-Attention rank. Conversely, large models enter a \textit{Compression-Seeking Attractor} state (Regime II), where Self-Attention actively compresses rank ($-2.34\%$) and hardens the spectral slope, decoupling the model from acoustic evidence.
• Abstract（参考訳）: 大型のASRモデルにおける幻覚は、重大な安全性のリスクをもたらす。 本研究では, 層状ゲインとアライメントによって支配される分散系(信号減衰)から誘引系(ランク1崩壊)への深層ネットワークの位相遷移を予測できる「textit{Spectral Sensitivity Theorem」を提案する。 我々は,Whisperモデルの活性化グラフの固有スペクトル(Tiny to Large-v3-Turbo)を逆応力下で解析することにより,この理論を検証した。 中間モデルでは,Cross-Attention ランクの 13.4 %$ の崩壊を特徴とする \textit{Structural Disintegration} (Regime I) が示される。 逆に、大きなモデルは \textit{Compression-Seeking Attractor} 状態 (Regime II) に入り、Self-Attention はランクを積極的に圧縮し(2.34 %$)、スペクトル勾配を硬化させ、音響的証拠からモデルを分離する。

関連論文リスト

• Exact Leg-Cut Influence Functional and Emergence of Gaussian Entanglement Theory in a Statistical-Dressing Ladder Model [0.0]
  非ガウス格子スケールの相関関係が粗粒化の下でどのように破棄されるかを示す正確な格子定式化を示す。 粗粒化下では,非ガウス格子状態が2次連続体にどのように進化するかを示す。
  論文  参考訳（メタデータ） (2026-06-24T10:29:12Z)
• Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training [56.323119575322146]
  Extra-Mergeは、GPT-2およびLLaMAファミリーにわたる実験において、標準のマージベースラインを一貫して上回っている。 Pythia-12B下流のタスクに対して一貫したゼロショット精度のゲインを与え、Muon citepjordan2024muonに効果的に一般化する。
  論文  参考訳（メタデータ） (2026-05-26T02:48:34Z)
• Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
  拡散モデルは、顕著な品質で高次元データを生成する。 彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。 我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
  論文  参考訳（メタデータ） (2026-05-16T16:51:10Z)
• Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks [74.46751089984072]
  深い線形ネットワークにおける勾配降下(SGD)ノイズの理解は不十分である。 本研究では,サドル・アンド・サドル体制におけるDLNの訓練におけるSGDの動態について検討した。 以上の結果から,SGDノイズは特徴学習の進行に関する情報を符号化するが,サドル・アンド・サドル・ダイナミクスを根本的に変えるものではないことが判明した。
  論文  参考訳（メタデータ） (2026-04-07T18:43:08Z)
• Random Dot Product Graphs as Dynamical Systems: Limitations and Opportunities [0.0]
  ランダムドット製品グラフ内の時間ネットワークの進化を規定する微分方程式について検討する。 遅延位置における回転あいまいさからのゲージ自由度、確率行列の多様体構造からの実現可能性制約、スペクトル埋め込みによる軌道回復アーティファクトの3つの基本的な障害を同定する。 対称力学はスキュー対称ゲージ汚染を吸収できないので、力学構造は障害物を解消できる。
  論文  参考訳（メタデータ） (2026-03-05T21:56:07Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks [1.7523718031184992]
  構造保存深層構造に固有の臨界スペクトル劣化現象を同定する。 最大エントロピーバイアスは混合作用素を均一なバリセンターへ誘導し、従属特異値 を抑えることを示す。 ネットワークの有効深度にリンクするスペクトル境界を導出し、高エントロピー制約が浅層受容場への特徴変換を制限することを示す。
  論文  参考訳（メタデータ） (2026-01-05T13:09:42Z)
• Analyzing the Mechanism of Attention Collapse in VGGT from a Dynamics Perspective [13.434698786044107]
  Visual Geometry Grounded Transformer (VGGT)は、最先端のフィードフォワード3D再構成を提供する。 グローバルな自己保持層は、入力シーケンスが数百フレームを超えると、劇的な崩壊現象に悩まされる。 我々は,グローバルアテンションを退化拡散過程と見なして,崩壊の厳密な数学的説明を確立する。
  論文  参考訳（メタデータ） (2025-12-25T14:34:27Z)
• Interpreting Global Perturbation Robustness of Image Models using Axiomatic Spectral Importance Decomposition [0.0]
  摂動堅牢性は、データ破損や敵攻撃など、さまざまな摂動から生じるモデルの脆弱性を評価する。 本稿では,画像モデルの摂動ロバスト性を理解するために,モデルに依存しない大域的機械論的解釈法を提案する。
  論文  参考訳（メタデータ） (2024-08-02T09:35:06Z)
• KPZ scaling from the Krylov space [83.88591755871734]
  近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。 これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
  論文  参考訳（メタデータ） (2024-06-04T20:57:59Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Boundary theories of critical matchgate tensor networks [59.433172590351234]
  AdS/CFT対応の重要な側面は、双曲格子上のテンソルネットワークモデルの観点から捉えることができる。 マッチゲート制約を満たすテンソルに対しては、これらは以前、乱れた境界状態を生成することが示されている。 これらのハミルトニアンは、解析的な玩具モデルによって捉えられたマルチスケールの準周期対称性を示す。
  論文  参考訳（メタデータ） (2021-10-06T18:00:03Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。