論文の概要: Spectral Geometry for Deep Learning: Compression and Hallucination Detection via Random Matrix Theory

• arxiv url: http://arxiv.org/abs/2601.17357v1
• Date: Sat, 24 Jan 2026 08:07:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.628734
• Title: Spectral Geometry for Deep Learning: Compression and Hallucination Detection via Random Matrix Theory
• Title（参考訳）: 深層学習のためのスペクトル幾何学:ランダム行列理論による圧縮と幻覚検出
• Authors: Davide Ettori,
• Abstract要約: この論文は、両問題に対処するためにスペクトル幾何学とランダム行列理論に基づく統一的な枠組みを提案する。 最初のコントリビューションであるEigenTrackは、言語および視覚言語モデルにおける幻覚とアウト・オブ・ディストリビューションの振る舞いをリアルタイムに検出する手法である。 第2のコントリビューションであるRTT-KDは、情報的スペクトル成分を識別する原理的圧縮法である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models and deep neural networks achieve strong performance but suffer from reliability issues and high computational cost. This thesis proposes a unified framework based on spectral geometry and random matrix theory to address both problems by analyzing the eigenvalue structure of hidden activations. The first contribution, EigenTrack, is a real-time method for detecting hallucinations and out-of-distribution behavior in language and vision-language models using spectral features and their temporal dynamics. The second contribution, RMT-KD, is a principled compression method that identifies informative spectral components and applies iterative knowledge distillation to produce compact and efficient models while preserving accuracy. Together, these results show that spectral statistics provide interpretable and robust signals for monitoring uncertainty and guiding compression in large-scale neural networks.
• Abstract（参考訳）: 大規模言語モデルとディープニューラルネットワークは高いパフォーマンスを実現するが、信頼性の問題と高い計算コストに悩まされている。 この論文は、隠れたアクティベーションの固有値構造を解析することにより、両方の問題に対処するために、スペクトル幾何学とランダム行列理論に基づく統一的なフレームワークを提案する。 最初のコントリビューションであるEigenTrackは、スペクトル特徴と時間的ダイナミクスを用いて、言語および視覚言語モデルにおける幻覚と分布外行動を検出するリアルタイム手法である。 第2の貢献であるRTT-KDは、情報的スペクトル成分を同定し、反復的知識蒸留を適用して精度を保ちながらコンパクトで効率的なモデルを生成する、原理化された圧縮法である。 これらの結果は,大規模ニューラルネットワークにおける不確実性を監視し,圧縮を導くために,スペクトル統計が解釈可能かつ堅牢な信号を提供することを示す。

関連論文リスト

• From Eigenmodes to Proofs: Integrating Graph Spectral Operators with Symbolic Interpretable Reasoning [0.0]
  完全スペクトル型ニューロシンボリック推論フレームワークであるSpectral NSRを紹介する。 論理ルールをスペクトルテンプレートとして組み込み、グラフスペクトル領域で直接推論を行う。 スペクトルNSRは, 高い精度, 高速な推測, 対向摂動に対する頑健性の向上, 先行するベースラインと比較して高い解釈性を実現している。
  論文  参考訳（メタデータ） (2025-09-07T01:12:20Z)
• Quantum Spectral Reasoning: A Non-Neural Architecture for Interpretable Machine Learning [0.0]
  本稿では,従来のニューラルネットワークのパラダイムから外れた,新しい機械学習アーキテクチャを提案する。 我々は、量子スペクトル法、特にPade近似法とLanczosアルゴリズムを用いて、解釈可能な信号解析とシンボリック推論を行う。 その結果,このスペクトル記号型アーキテクチャは,解釈可能性とデータ効率を保ちながら,競合精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2025-08-05T07:16:45Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Spectral-Adaptive Modulation Networks for Visual Perception [9.912286808419205]
  グラフスペクトル分析を用いて、2次元畳み込みと自己意図の周波数応答を理論的にシミュレートし比較する。 以上の結果から,ウィンドウサイズによって変調されたノード接続が,スペクトル関数形成の鍵となる要因であることが判明した。 SPAMに基づいて,新しいビジョンバックボーンとしてSPANetV2を開発した。
  論文  参考訳（メタデータ） (2025-03-31T10:53:42Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Learning Neural Eigenfunctions for Unsupervised Semantic Segmentation [12.91586050451152]
  スペクトルクラスタリング(英: Spectral clustering)は、異なるクラスタを構築するために画素のスペクトル埋め込みを計算する理論上の解である。 現在のアプローチは、まだスペクトル分解の非効率性と、試験データに適用する際の柔軟性に悩まされている。 この研究は、スペクトルクラスタリングをニューラルネットワークに基づく固有関数を用いてスペクトル埋め込みを生成するパラメトリックアプローチとしてキャストすることで、これらの問題に対処する。 実際には、神経固有関数は軽量であり、事前訓練されたモデルの特徴を入力とし、トレーニング効率を改善し、より密集した予測のための事前訓練されたモデルの可能性を解き放つ。
  論文  参考訳（メタデータ） (2023-04-06T03:14:15Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Convolutional Spectral Kernel Learning [21.595130250234646]
  逆フーリエ変換に基づく解釈可能な畳み込みスペクトルカーネルネットワーク(textttCSKN)を構築する。 一般化誤差境界を導出し、性能を改善するために2つの正規化器を導入する。 実世界のデータセットを用いた実験は、学習フレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2020-02-28T14:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。