論文の概要: The geometry of invariant learning: an information-theoretic analysis of data augmentation and generalization

• arxiv url: http://arxiv.org/abs/2602.14423v1
• Date: Mon, 16 Feb 2026 03:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.055804
• Title: The geometry of invariant learning: an information-theoretic analysis of data augmentation and generalization
• Title（参考訳）: 不変学習の幾何学--データ拡張と一般化の情報理論解析
• Authors: Abdelali Bouyahia, Frédéric LeBlanc, Mario Marchand,
• Abstract要約: 一般化と不変学習における拡張の効果を体系的に考慮した情報理論フレームワークを提案する。 提案手法は,学習アルゴリズムが学習データに保持する情報量と一般化ギャップを関連づけた相互情報ベース境界に基づいて構築する。 損失関数と増分過程に関する緩やかな部分ガウスの仮定の下で、期待される一般化ギャップを3つの解釈可能な項に分解する新しい一般化境界を導出する。
• 参考スコア（独自算出の注目度）: 2.496574213989531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation is one of the most widely used techniques to improve generalization in modern machine learning, often justified by its ability to promote invariance to label-irrelevant transformations. However, its theoretical role remains only partially understood. In this work, we propose an information-theoretic framework that systematically accounts for the effect of augmentation on generalization and invariance learning. Our approach builds upon mutual information-based bounds, which relate the generalization gap to the amount of information a learning algorithm retains about its training data. We extend this framework by modeling the augmented distribution as a composition of the original data distribution with a distribution over transformations, which naturally induces an orbit-averaged loss function. Under mild sub-Gaussian assumptions on the loss function and the augmentation process, we derive a new generalization bound that decompose the expected generalization gap into three interpretable terms: (1) a distributional divergence between the original and augmented data, (2) a stability term measuring the algorithm dependence on training data, and (3) a sensitivity term capturing the effect of augmentation variability. To connect our bounds to the geometry of the augmentation group, we introduce the notion of group diameter, defined as the maximal perturbation that augmentations can induce in the input space. The group diameter provides a unified control parameter that bounds all three terms and highlights an intrinsic trade-off: small diameters preserve data fidelity but offer limited regularization, while large diameters enhance stability at the cost of increased bias and sensitivity. We validate our theoretical bounds with numerical experiments, demonstrating that it reliably tracks and predicts the behavior of the true generalization gap.
• Abstract（参考訳）: データ拡張は、現代の機械学習における一般化を改善するために最も広く使われている手法の1つであり、しばしばラベル非関連変換への不変性を促進する能力によって正当化される。 しかし、その理論的な役割は部分的には理解されていない。 本研究では,一般化と不変学習に対する拡張の効果を体系的に考慮した情報理論フレームワークを提案する。 提案手法は,学習アルゴリズムが学習データに保持する情報量と一般化ギャップを関連づけた相互情報ベース境界に基づいて構築する。 このフレームワークは, 軌道平均損失関数を自然に誘導する変換上の分布を用いて, 原データ分布の合成として拡張分布をモデル化することによって拡張する。 損失関数と増分過程に関する軽微な部分ガウス的仮定の下で、期待される一般化ギャップを3つの解釈可能な項に分解する新たな一般化境界を導出する:(1)原データと増分データの分布的ばらつき、(2)訓練データへのアルゴリズム依存を測定する安定性項、(3)増分変数の効果を捉える感度項。 拡張群の幾何学との境界を結びつけるために、拡大が入力空間内で誘導できる最大摂動として定義される群径の概念を導入する。 群径は3つの項すべてを束縛し、本質的なトレードオフを強調する統一的な制御パラメータを提供する:小径はデータの忠実性を維持するが、限定的な正規化を提供するが、大きな直径はバイアスと感度の増大による安定性を高める。 数値実験による理論的境界を検証し、それが真の一般化ギャップの挙動を確実に追跡し予測することを実証する。

関連論文リスト

• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Distribution-dependent Generalization Bounds for Tuning Linear Regression Across Tasks [24.2043855572415]
  L1係数とL2係数をチューニングする際の検証損失に対する一般化誤差の分布依存境界を求める。 我々はその結果をリッジ回帰の一般化にまで拡張し、そこでは基底真理分布の平均を考慮に入れたより厳密な境界を達成する。
  論文  参考訳（メタデータ） (2025-07-07T15:08:45Z)
• A Mathematics Framework of Artificial Shifted Population Risk and Its Further Understanding Related to Consistency Regularization [7.944280447232545]
  本稿では,データ拡張のためのより包括的な数学的枠組みを紹介する。 シフトする人口の予測リスクは、当初の人口リスクとギャップ項の合計であることを示す。 本稿は、このギャップの理論的理解も提供し、トレーニングの初期段階における負の効果を強調している。
  論文  参考訳（メタデータ） (2025-02-15T08:26:49Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Data-dependent Generalization Bounds via Variable-Size Compressibility [16.2444595840653]
  我々は「可変サイズ圧縮性」フレームワークのレンズによる一般化誤差に関する新しいデータ依存上界を確立する。 このフレームワークでは、アルゴリズムの一般化誤差を、その入力データの可変サイズの「圧縮率」にリンクする。 私たちが確立した新しい一般化境界は、テール境界、期待上のテール境界、および予想外境界である。
  論文  参考訳（メタデータ） (2023-03-09T16:17:45Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Robustness Implies Generalization via Data-Dependent Generalization Bounds [24.413499775513145]
  本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。
  論文  参考訳（メタデータ） (2022-06-27T17:58:06Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。