論文の概要: From Dispersion to Attraction: Spectral Dynamics of Hallucination Across Whisper Model Scales

• arxiv url: http://arxiv.org/abs/2604.08591v1
• Date: Tue, 31 Mar 2026 22:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.472245
• Title: From Dispersion to Attraction: Spectral Dynamics of Hallucination Across Whisper Model Scales
• Title（参考訳）: 分散から誘引へ:Whisperモデルスケールにおける幻覚のスペクトルダイナミクス
• Authors: Ivan Viakhirev, Kirill Borodin, Grach Mkrtchian,
• Abstract要約: 層状ゲインとアライメントが支配するアトラクタ・アトラクションへの深層ネットワークの位相遷移を予測できるtextitSpectral Sensitivity Theoremを提案する。 我々は,Whisperモデルの活性化グラフの固有スペクトル(Tiny to Large-v3-Turbo)を逆応力下で解析することにより,この理論を検証した。
• 参考スコア（独自算出の注目度）: 0.19116784879310025
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Hallucinations in large ASR models present a critical safety risk. In this work, we propose the \textit{Spectral Sensitivity Theorem}, which predicts a phase transition in deep networks from a dispersive regime (signal decay) to an attractor regime (rank-1 collapse) governed by layer-wise gain and alignment. We validate this theory by analyzing the eigenspectra of activation graphs in Whisper models (Tiny to Large-v3-Turbo) under adversarial stress. Our results confirm the theoretical prediction: intermediate models exhibit \textit{Structural Disintegration} (Regime I), characterized by a $13.4\%$ collapse in Cross-Attention rank. Conversely, large models enter a \textit{Compression-Seeking Attractor} state (Regime II), where Self-Attention actively compresses rank ($-2.34\%$) and hardens the spectral slope, decoupling the model from acoustic evidence.
• Abstract（参考訳）: 大型のASRモデルにおける幻覚は、重大な安全性のリスクをもたらす。 本研究では, 層状ゲインとアライメントによって支配される分散系(信号減衰)から誘引系(ランク1崩壊)への深層ネットワークの位相遷移を予測できる「textit{Spectral Sensitivity Theorem」を提案する。 我々は,Whisperモデルの活性化グラフの固有スペクトル(Tiny to Large-v3-Turbo)を逆応力下で解析することにより,この理論を検証した。 中間モデルでは,Cross-Attention ランクの 13.4 %$ の崩壊を特徴とする \textit{Structural Disintegration} (Regime I) が示される。 逆に、大きなモデルは \textit{Compression-Seeking Attractor} 状態 (Regime II) に入り、Self-Attention はランクを積極的に圧縮し(2.34 %$)、スペクトル勾配を硬化させ、音響的証拠からモデルを分離する。

関連論文リスト

• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• The Homogeneity Trap: Spectral Collapse in Doubly-Stochastic Deep Networks [1.7523718031184992]
  構造保存深層構造に固有の臨界スペクトル劣化現象を同定する。 最大エントロピーバイアスは混合作用素を均一なバリセンターへ誘導し、従属特異値 を抑えることを示す。 ネットワークの有効深度にリンクするスペクトル境界を導出し、高エントロピー制約が浅層受容場への特徴変換を制限することを示す。
  論文  参考訳（メタデータ） (2026-01-05T13:09:42Z)
• Interpreting Global Perturbation Robustness of Image Models using Axiomatic Spectral Importance Decomposition [0.0]
  摂動堅牢性は、データ破損や敵攻撃など、さまざまな摂動から生じるモデルの脆弱性を評価する。 本稿では,画像モデルの摂動ロバスト性を理解するために,モデルに依存しない大域的機械論的解釈法を提案する。
  論文  参考訳（メタデータ） (2024-08-02T09:35:06Z)
• KPZ scaling from the Krylov space [83.88591755871734]
  近年,Cardar-Parisi-Zhangスケーリングをリアルタイムの相関器や自動相関器に示す超拡散が報告されている。 これらの結果から着想を得て,Krylov演算子に基づく相関関数のKPZスケーリングについて検討する。
  論文  参考訳（メタデータ） (2024-06-04T20:57:59Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Boundary theories of critical matchgate tensor networks [59.433172590351234]
  AdS/CFT対応の重要な側面は、双曲格子上のテンソルネットワークモデルの観点から捉えることができる。 マッチゲート制約を満たすテンソルに対しては、これらは以前、乱れた境界状態を生成することが示されている。 これらのハミルトニアンは、解析的な玩具モデルによって捉えられたマルチスケールの準周期対称性を示す。
  論文  参考訳（メタデータ） (2021-10-06T18:00:03Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。