論文の概要: The Devil is in the Spectrum: Mitigating Representation Collapse in LLMs via Topologically Regularized Side-Path

• arxiv url: http://arxiv.org/abs/2607.20484v1
• Date: Tue, 02 Jun 2026 09:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.195966
• Title: The Devil is in the Spectrum: Mitigating Representation Collapse in LLMs via Topologically Regularized Side-Path
• Title（参考訳）: 悪魔はスペクトルの中にいる: 位相正規化サイドパスによるLCMの表現崩壊の緩和
• Abstract要約: Topologically Regularized Side-Path (TRSP) は、スペクトルバランスを実現する非侵襲的なアーキテクチャ介入である。 TRSPは、トークンの相互作用トポロジを規則化するために、軽量で長さ対応のゲートで拡張されたパラメータフリーの三角形ボックス機構を採用している。 実験では、一般的な機能と長期コンテキストベンチマークにまたがる大幅な改善が示されている。
• 参考スコア（独自算出の注目度）: 10.000577340093434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are fundamentally limited by representation collapse, a bottleneck that severely degrades long-context performance. We identify that existing approaches risk drifting into one of two pathological extremes: homogenization collapse (e.g., attention sinks causing rank deficiency) and isolation collapse (e.g., local attention causing context disconnection). Through spectral analysis of attention dynamics, we derive an intrinsic trade-off between mixing efficiency (spectral gap) and information capacity (effective rank) that standard mechanisms struggle to balance. To resolve this dilemma, we propose the Topologically Regularized Side-Path (TRSP), a non-invasive architectural intervention that achieves spectral balance. TRSP employs a parameter-free Triangular Box mechanism, scaled by a lightweight, length-aware gate, to regularize the token interaction topology. By integrating proximal coupling to preserve effective rank and distal propagation to support non-degenerate mixing, TRSP promotes a geometrically healthier transition operator without altering core attention. Experiments show significant improvements across general capabilities and long-context benchmarks. Notably, on NoLiMa at $8\times$ the training length, TRSP retains $83\%$ accuracy and surpasses the Differential Transformer and Gated Attention by approximately 30 and 50 percentage points, respectively. Code available at: https://github.com/Eziotao-tyd/TRSP.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、長文のパフォーマンスを著しく低下させるボトルネックである表現の崩壊によって、基本的に制限されている。 既存のアプローチでは, 均質化崩壊(例えば, 階級不足の原因となる注意シンク)と孤立崩壊(例えば, 局所的な注意がコンテキスト不一致の原因となる)の2つの極端に漂流するリスクがある。 注意力学のスペクトル解析を通して、標準的なメカニズムがバランスの取れない混合効率(スペクトルギャップ)と情報容量(有効ランク)との本質的なトレードオフを導出する。 このジレンマを解決するために,スペクトルバランスを実現する非侵襲的アーキテクチャ介入であるTopologically Regularized Side-Path (TRSP)を提案する。 TRSPは、トークンの相互作用トポロジを規則化するために、軽量で長さ対応のゲートで拡張されたパラメータフリーの三角形ボックス機構を採用している。 非縮退混合をサポートするために、近位結合と遠位伝播を維持するために近位結合を統合することにより、TRSPは、コアの注意を変えることなく、幾何的に健全な遷移作用素を促進する。 実験では、一般的な機能と長期コンテキストベンチマークにまたがる大幅な改善が示されている。 特に、NoLiMaのトレーニング長が8\times$の場合には、TRSPは83\%の精度を保ち、差分変換器とGated Attentionをそれぞれ約30ポイント、50ポイント上回る。 コードは、https://github.com/Eziotao-tyd/TRSP.comで公開されている。

関連論文リスト

• From local weight selection to Zeno slowdown in an open Su-Schrieffer-Heeger chain with a single local loss [0.0]
  多体フェルミオンリンドブラッド問題は、ランク1の虚不純物を持つ有限非エルミート一体行列に正確に還元されることを示す。 その急速さは完全なリウィリアスペクトルを生成し、最も遅い緩和を司る3つのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-07-11T09:01:55Z)
• Trajectory-Anchor Optimization for Overconfident Thermal Visual Place Recognition: Zero-Leakage OOD Auditing and Kidnapped-Robot Recovery [3.9929096403817255]
  Trajectory-Anchor Optimization (TAO) はマクロスケールでの効率的なフェールセーフフィルタである。 5mの半径内では、幻覚はしばしば固いアライメントを知覚する局所的に一貫した幾何学を持つ。 TAOは、多視点の一貫性が破滅的な地形破壊を確実に分離する、明確な収束盆地(10m)を確立している。
  論文  参考訳（メタデータ） (2026-07-06T07:31:37Z)
• Self-Balancing Gradient Allocation for Heterogeneity-Aware Feature Generation in Click-Through Rate Prediction [9.542597285477683]
  HeteGenCTRは、デノナイジングネットワークと共同で訓練されたフィールド毎の学習困難パラメータを通じて、生成困難不均衡を解決する。 5つのCTRベンチマークと7日間のオンラインA/Bテストの実験は、最先端のベースラインよりも一貫した統計的に重要な改善を示している。
  論文  参考訳（メタデータ） (2026-05-24T10:27:31Z)
• Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
  一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。 この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-03-16T16:18:18Z)
• The Malignant Tail: Spectral Segregation of Label Noise in Over-Parameterized Networks [0.0]
  ネットワークが機能的に信号とノイズを分離する障害モードであるMorignant Tailを実験的に分離する。 トレーニングされていないネットワークは、ノイズを積極的に分離し、ノイズに支配されたサブスペースを外科的にプルークするポストホックスペクトルトラニケーションを実現する。 以上の結果から,ラベルノイズ下では,余剰スペクトル容量は無害な冗長性ではなく,構造的負債が潜んでいることが示唆された。
  論文  参考訳（メタデータ） (2026-03-02T16:39:42Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Parallel Complex Diffusion for Scalable Time Series Generation [50.01609741902786]
  PaCoDiは周波数領域における生成モデリングを分離するスペクトルネイティブアーキテクチャである。 本研究では,PaCoDiが生成品質と推論速度の両方において,既存のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:53Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Multi-Scale Negative Coupled Information Systems (MNCIS): A Unified Spectral Topology Framework for Stability in Turbulence, AI, and Biology [1.4213973379473657]
  本研究は,MNCIS(Multi-Scale Negative Coupled Information System)フレームワークを一般化する。 グローバルな安定性には、状態依存のハイパスフィルタとして機能するアクティブなトポロジカル演算子 -- アダプティブスペクトル負結合(ASNC)が必要です。 ASNCはSGS(Global-enstrophy Adaptive Sub-Grid Scale)モデルとして機能し、不可視の限界を安定化し、人工超視力なしでコルモゴロフの5/3$慣性範囲を保存する。 以上の結果から, MNCISフレームワークは, 熱平衡に崩壊する複雑系と熱平衡を区別するために, 基底非依存の位相条件を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-01-06T21:11:33Z)
• CLAReSNet: When Convolution Meets Latent Attention for Hyperspectral Image Classification [20.37811669228711]
  CLAReSNetは、マルチスケールの畳み込み抽出と、適応的な潜在ボトルネックによるトランスフォーマースタイルの注意を統合するハイブリッドアーキテクチャである。 インド・パインズとサリナスのデータセットで実施された実験は、最先端のパフォーマンスを示し、全体の精度は99.71%と99.96%である。
  論文  参考訳（メタデータ） (2025-11-15T20:25:59Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• CWF: Consolidating Weak Features in High-quality Mesh Simplification [50.634070540791555]
  これらの要件をすべて同時に検討するスムーズな機能を提案する。 この官能基は、通常の異方性項と、セトロイド型ボロノイテッセルレーション(CVT)エネルギー項を含む。
  論文  参考訳（メタデータ） (2024-04-24T05:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。