論文の概要: Supervised Learning as Lossy Compression: Characterizing Generalization and Sample Complexity via Finite Blocklength Analysis

• arxiv url: http://arxiv.org/abs/2602.04107v1
• Date: Wed, 04 Feb 2026 00:45:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.324225
• Title: Supervised Learning as Lossy Compression: Characterizing Generalization and Sample Complexity via Finite Blocklength Analysis
• Title（参考訳）: 損失圧縮としての教師付き学習:有限ブロック長解析による一般化とサンプル複雑度の特徴付け
• Authors: Kosuke Sugiyama, Masato Uchida,
• Abstract要約: 本稿では,機械学習における一般化に関する情報理論の新たな視点について述べる。 固定ランダム化学習アルゴリズムにおけるサンプルの複雑さと一般化誤差の低い境界を導出する。 情報理論境界理論と安定性理論で見いだされる既存の指標と理論上の関係を示すために、過度に適合する項を分解する。
• 参考スコア（独自算出の注目度）: 0.08594140167290097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel information-theoretic perspective on generalization in machine learning by framing the learning problem within the context of lossy compression and applying finite blocklength analysis. In our approach, the sampling of training data formally corresponds to an encoding process, and the model construction to a decoding process. By leveraging finite blocklength analysis, we derive lower bounds on sample complexity and generalization error for a fixed randomized learning algorithm and its associated optimal sampling strategy. Our bounds explicitly characterize the degree of overfitting of the learning algorithm and the mismatch between its inductive bias and the task as distinct terms. This separation provides a significant advantage over existing frameworks. Additionally, we decompose the overfitting term to show its theoretical connection to existing metrics found in information-theoretic bounds and stability theory, unifying these perspectives under our proposed framework.
• Abstract（参考訳）: 本稿では、損失圧縮の文脈内で学習問題をフレーミングし、有限ブロック長解析を適用することによって、機械学習の一般化に関する新しい情報理論的視点を示す。 本手法では, トレーニングデータのサンプリングは符号化処理に対応し, モデル構築は復号処理に対応している。 有限ブロック長解析を利用して、固定ランダム化学習アルゴリズムとその関連する最適サンプリング戦略に対して、サンプルの複雑さと一般化誤差の低い境界を導出する。 我々の境界は、学習アルゴリズムの過度な適合度と、帰納的バイアスとタスクのミスマッチを異なる用語として明確に特徴付けている。 この分離は、既存のフレームワークに対して大きな優位性を提供します。 さらに,情報理論的境界と安定性理論における既存の指標との理論的関係を示すために,過度に適合する項を分解し,これらの視点を枠組みの下に統一する。

関連論文リスト

• Unlocking Symbol-Level Precoding Efficiency Through Tensor Equivariant Neural Network [84.22115118596741]
  シンボルレベルのプリコーディングにおいて,推論の複雑さの低いエンドツーエンドディープラーニング(DL)フレームワークを提案する。 提案手法は,従来の手法よりも約80倍の高速化を実現しつつ,SLPの大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2025-10-02T15:15:50Z)
• Mutual Information Free Topological Generalization Bounds via Stability [46.63069403118614]
  既存の戦略から離れる新しい学習理論フレームワークを導入する。 トラジェクトリ安定アルゴリズムの一般化誤差をTDA項で上界化できることを示す。
  論文  参考訳（メタデータ） (2025-07-09T12:03:25Z)
• Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis [33.73453802399709]
  本稿では,二元化ニューラルネットワーク(BNN)を第1のプロキシとして用いて,アルゴリズム情報理論へのシフトを提案する。 ブロック分解法 (BDM) を適用し, エントロピーよりもトレーニング中の構造変化をより綿密に追跡した。 これらの結果は、学習が構造化正規性の進行的内部化に対応するアルゴリズム圧縮の過程としてのトレーニングの観点を支持する。
  論文  参考訳（メタデータ） (2025-05-27T02:51:36Z)
• On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
  本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。 我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
  論文  参考訳（メタデータ） (2024-10-21T14:53:12Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent Signals: Application to Hyperspectral Imaging [71.57324258813675]
  相互依存信号のデータセットは、列が強い依存を示す行列として定義される。 ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。 ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
  論文  参考訳（メタデータ） (2022-03-29T21:00:39Z)
• Contextual Model Aggregation for Fast and Robust Federated Learning in Edge Computing [88.76112371510999]
  フェデレーション学習は、ネットワークエッジにおける分散機械学習の第一候補である。 既存のアルゴリズムは、性能の緩やかな収束や堅牢性の問題に直面している。 そこで本稿では,損失低減に対する最適コンテキスト依存境界を実現するためのコンテキストアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T21:42:31Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。