論文の概要: Redundancy as a Structural Information Principle for Learning and Generalization

• arxiv url: http://arxiv.org/abs/2510.10938v1
• Date: Mon, 13 Oct 2025 02:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.163229
• Title: Redundancy as a Structural Information Principle for Learning and Generalization
• Title（参考訳）: 学習と一般化のための構造情報原理としての冗長性
• Authors: Yuda Bi, Ying Zhu, Vince D Calhoun,
• Abstract要約: 不効率ではなく,情報組織の基本的特性としての冗長性を再定義する。 冗長性は上と下の両方に有界であり、最適平衡をもたらすことを示す。 これらの結果は、コミュニケーションの世界と学習の有限世界を橋渡しする測定可能で調整可能な量として冗長性を確立する。
• 参考スコア（独自算出の注目度）: 18.833354406119607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a theoretical framework that extends classical information theory to finite and structured systems by redefining redundancy as a fundamental property of information organization rather than inefficiency. In this framework, redundancy is expressed as a general family of informational divergences that unifies multiple classical measures, such as mutual information, chi-squared dependence, and spectral redundancy, under a single geometric principle. This reveals that these traditional quantities are not isolated heuristics but projections of a shared redundancy geometry. The theory further predicts that redundancy is bounded both above and below, giving rise to an optimal equilibrium that balances over-compression (loss of structure) and over-coupling (collapse). While classical communication theory favors minimal redundancy for transmission efficiency, finite and structured systems, such as those underlying real-world learning, achieve maximal stability and generalization near this equilibrium. Experiments with masked autoencoders are used to illustrate and verify this principle: the model exhibits a stable redundancy level where generalization peaks. Together, these results establish redundancy as a measurable and tunable quantity that bridges the asymptotic world of communication and the finite world of learning.
• Abstract（参考訳）: 本稿では,従来の情報理論を有限構造系に拡張する理論的枠組みについて,非効率性よりも情報組織の基本的特性として冗長性を再定義する。 この枠組みでは、相互情報、カイ二乗依存、スペクトル冗長といった複数の古典的尺度を単一の幾何学原理で統一する情報分岐の一般ファミリーとして表現される。 このことは、これらの伝統的な量が孤立ヒューリスティックではなく、共有冗長幾何学の射影であることを明らかにする。 この理論はさらに、冗長性は上と下の両方で有界であると予測し、過圧縮(構造の欠如)と過結合(崩壊)のバランスをとる最適均衡をもたらす。 古典的な通信理論は伝達効率に最小限の冗長性を好むが、現実の学習のような有限で構造化されたシステムは、この平衡付近で最大安定性と一般化を達成する。 マスク付きオートエンコーダを用いた実験は、この原理を実証し、検証するために使用され、モデルは一般化ピークがピークとなる安定した冗長レベルを示す。 これらの結果は,コミュニケーションの漸近的世界と学習の有限世界を橋渡しする,測定可能かつ調整可能な量として冗長性を確立する。

関連論文リスト

• Information-Theoretic Bounds and Task-Centric Learning Complexity for Real-World Dynamic Nonlinear Systems [0.6875312133832079]
  動的非線形系は静的および動的効果の結合による歪みを示す。 本稿では, 構造化分解, 分散解析, タスク中心の複雑性境界に基づく理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-09-08T12:08:02Z)
• Generalizability of Neural Networks Minimizing Empirical Risk Based on Expressive Ability [20.371836553400232]
  本稿では,経験的リスクを最小限に抑えた,あるいはほぼ最小化したニューラルネットワークの一般化可能性について検討する。 我々は、堅牢な一般化を含む、深層学習におけるいくつかの現象に関する理論的洞察を提供する。
  論文  参考訳（メタデータ） (2025-03-06T05:36:35Z)
• The resource theory of tensor networks [2.0781167019314806]
  結合次元の概念を多部交絡を用いた絡み合い構造に一般化する自然資源理論について検討する。 エンタングルメント構造の間には、エッジ・バイ・エッジ変換を超える変換が存在することを示す。
  論文  参考訳（メタデータ） (2023-07-14T15:11:02Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• On the generalization of learning algorithms that do not converge [54.122745736433856]
  ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。 最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
  論文  参考訳（メタデータ） (2022-08-16T21:22:34Z)
• Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning Algorithms [12.020634332110147]
  我々は、レート歪曲理論のレンズを通して、新しい一般化が有界であることを証明している。 我々の結果は、一般化に関するより統一された視点をもたらし、将来の研究方向性を開拓する。
  論文  参考訳（メタデータ） (2022-03-04T18:12:31Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。