論文の概要: On the Trade-off Between Information Loss and Generalization in Sparse Attention

• arxiv url: http://arxiv.org/abs/2610.04424v1
• Date: Sat, 03 Oct 2026 10:27:29 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-06 20:38:23.794698
• Title: On the Trade-off Between Information Loss and Generalization in Sparse Attention
• Title（参考訳）: スパースアテンションにおける情報損失と一般化のトレードオフについて
• Abstract要約: 本稿では,Jensen-Shannon(JS)の発散とスパースアテンション機構の一般化ギャップの系統的解析を提案する。 解析の結果,近似誤差を導入した場合,空間性は仮説クラスの複雑さを減少させることがわかった。 これらの結果は,スパーストランスフォーマーアーキテクチャにおける情報忠実度と一般化のトレードオフを理論的に評価する。
• 参考スコア（独自算出の注目度）: 2.694262942445446
• License:
• Abstract: To mitigate the quadratic complexity bottleneck of the Transformer, sparse attention has emerged as a pivotal technology. Despite the extensive empirical success of sparse Transformers, the theoretical understanding of sparse attention remains fragmented. In particular, two fundamental questions remain unclear: (1) How does sparsification affect the information fidelity of attention mechanisms? (2) How does this information loss interact with the generalization behavior of the model? To bridge this gap, this paper proposes a systematic analysis of the Jensen-Shannon (JS) divergence and of the generalization gap of sparse attention mechanisms. Specifically, we first characterize the approximation error via the JS divergence. Through an order-statistics-based concentration analysis of the truncation mass alpha --- where the attention scores are assumed to be independent and identically distributed sub-Gaussian random variables with parameter sigma --- the JS divergence between the full attention distribution and the sparse attention distribution is shown to admit the closed form log 2 + ((1 - alpha)/2) log(1 - alpha) - ((2 - alpha)/2) log(2 - alpha). Subsequently, we derive a generalization bound through Rademacher complexity, quantified by O(gamma * sqrt(M/n) * (sqrt(log(3eL/M)) + sqrt(pi)/2)). Furthermore, building on a mutual-information-based generalization bound together with an entropy and covering-number analysis of the sparse hypothesis class, we obtain the sparsity-dependent generalization bound O(sqrt((M/(2n)) * (log(eL/M) + log(1 + 2/epsilon)))). Our analysis shows that sparsity reduces the complexity of the considered hypothesis class while introducing approximation error that can be quantified by the JS divergence. These findings provide a theoretical characterization of the trade-off between information fidelity and generalization in sparse Transformer architectures.
• Abstract（参考訳）: トランスフォーマーの二次的複雑性ボトルネックを軽減するために、重要技術としてスパース・アテンションが登場した。 スパーストランスフォーマーの広範な経験的成功にもかかわらず、スパースアテンションの理論的理解は断片化されている。 特に、(1)スペーサー化は注意機構の情報忠実度にどのように影響するか、という2つの根本的な疑問が残されている。 2) この情報損失はモデルの一般化行動とどのように相互作用するか? 本稿では,このギャップを埋めるために,Jensen-Shannon(JS)分散とスパースアテンション機構の一般化ギャップの体系的解析を提案する。 具体的には、JSの発散による近似誤差を最初に特徴付ける。 トラニケーション質量アルファの順序統計に基づく濃度分析により、注目スコアは独立であり、パラメータシグマを持つ準ガウス確率変数と同一分布であると仮定し、全注目分布とスパースアテンション分布とのJSのばらつきを、閉形式 log 2 + ((1 - α)/2) log(1 - α) - ((2 - α)/2) log(2 - α) log(2 - α) が認められることを示した。 その後、Radecher複雑性を通して有界な一般化を導出し、O(gamma * sqrt(M/n) * (sqrt(log(3eL/M)) + sqrt(pi)/2)) で定量化する。 さらに、エントロピーとスパース仮説クラスの被覆数解析と結びついた相互情報に基づく一般化の上に構築し、疎性依存的一般化境界 O(sqrt((M/(2n)) * (log(eL/M) + log(1 + 2/epsilon))) を得る。 本分析は,JS の偏差によって定量化できる近似誤差を導入しながら,検討された仮説クラスの複雑性を減少させることを示す。 これらの結果は,スパーストランスフォーマーアーキテクチャにおける情報忠実度と一般化のトレードオフを理論的に評価する。

関連論文リスト

• Parallel Complex Diffusion for Scalable Time Series Generation [50.01609741902786]
  PaCoDiは周波数領域における生成モデリングを分離するスペクトルネイティブアーキテクチャである。 本研究では,PaCoDiが生成品質と推論速度の両方において,既存のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:53Z)
• Instance-dependent Convergence Theory for Diffusion Models [7.237817437521988]
  我々は、異なる対象分布の滑らかさに適応する収束率を開発し、これをインスタンス依存境界と呼ぶ。 さらに、$L$は緩和されたリプシッツ定数を表し、ガウス混合モデルの場合、成分の数と対数的にしかスケールしない。
  論文  参考訳（メタデータ） (2024-10-17T16:37:33Z)
• Time-inhomogeneous diffusion geometry and topology [69.55228523791897]
  拡散凝縮(英: Diffusion condensation)は、各ステップが最初に計算し、そのデータに拡散演算子を適用する時間不均質な過程である。 我々はこの過程の収束と進化を幾何学的、スペクトル的、位相的観点から理論的に分析する。 我々の研究は拡散凝縮の収束に関する理論的洞察を与え、トポロジカルデータ解析と幾何学的データ解析のリンクを提供することを示している。
  論文  参考訳（メタデータ） (2022-03-28T16:06:17Z)
• Generalization Bounds via Convex Analysis [12.411844611718958]
  連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。 例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
  論文  参考訳（メタデータ） (2022-02-10T12:30:45Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• The Role of Mutual Information in Variational Classifiers [47.10478919049443]
  クロスエントロピー損失を訓練した符号化に依存する分類器の一般化誤差について検討する。 我々は、一般化誤差が相互情報によって境界付けられた状態が存在することを示す一般化誤差に境界を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:27:57Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Robust Generalization via $\alpha$-Mutual Information [24.40306100502023]
  R'enyi $alpha$-DivergencesとSibsonの$alpha$-Mutual Informationを使って、同じ事象の2つの確率測度を接続するバウンド。 結果は、学習アルゴリズムの一般化誤差の境界から、適応データ分析のより一般的なフレームワークまで幅広い応用がある。
  論文  参考訳（メタデータ） (2020-01-14T11:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。