論文の概要: Fundamental Limits of Prediction, Generalization, and Recursion: An
Entropic-Innovations Perspective
- arxiv url: http://arxiv.org/abs/2001.03813v4
- Date: Thu, 3 Jun 2021 22:25:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 04:42:29.721042
- Title: Fundamental Limits of Prediction, Generalization, and Recursion: An
Entropic-Innovations Perspective
- Title（参考訳）: 予測・一般化・再帰の基本限界--エントロピー・イノベーションの視点から
- Authors: Song Fang and Quanyan Zhu
- Abstract要約: 予測アルゴリズムに有効な予測誤差の$mathcalL_p$ノルムの一般的な下限を導出する。
また, 適合性(学習)問題における一般化の基本的な限界を解析する上で, 結果の意味についても検討した。
- 参考スコア（独自算出の注目度）: 23.249999313567624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we examine the fundamental performance limits of prediction,
with or without side information. More specifically, we derive generic lower
bounds on the $\mathcal{L}_p$ norms of the prediction errors that are valid for
any prediction algorithms and for any data distributions. Meanwhile, we combine
the entropic analysis from information theory and the innovations approach from
prediction/estimation theory to characterize the conditions (in terms of, e.g.,
directed information or mutual information) to achieve the bounds. We also
investigate the implications of the results in analyzing the fundamental limits
of generalization in fitting (learning) problems from the perspective of
prediction with side information, as well as the fundamental limits of
recursive algorithms by viewing them as generalized prediction problems.
- Abstract（参考訳）: 本稿では,サイド情報の有無に関わらず,予測の基本性能限界について検討する。
より具体的には、任意の予測アルゴリズムおよび任意のデータ分布で有効な予測エラーの$\mathcal{l}_p$ノルムの一般的な下限を導出する。
一方,情報理論からのエントロピー解析と予測・推定理論からのイノベーションアプローチを組み合わせることで,境界を達成するための条件(例えば,指示された情報や相互情報)を特徴付ける。
また, 一般化の限界を側面情報を用いた予測の観点から解析し, 再帰的アルゴリズムの基本限界を一般化予測問題として捉えることにより, 結果が与える影響について検討した。
関連論文リスト
- Structured Prediction in Online Learning [66.36004256710824]
オンライン学習環境における構造化予測のための理論的・アルゴリズム的枠組みについて検討する。
このアルゴリズムは教師付き学習環境からの最適アルゴリズムの一般化であることを示す。
本稿では,非定常データ分布,特に逆データを含む2番目のアルゴリズムについて考察する。
論文 参考訳（メタデータ） (2024-06-18T07:45:02Z) - Information-theoretic Generalization Analysis for Expected Calibration Error [4.005483185111992]
本研究は,2つの共通ビンニング戦略,一様質量と一様幅ビンニングにおける推定バイアスの最初の包括的解析である。
私たちの境界は、推定バイアスを最小限に抑えるために、初めて最適なビンの数を明らかにします。
バイアス分析を情報理論に基づく一般化誤差解析に拡張する。
論文 参考訳（メタデータ） (2024-05-24T16:59:29Z) - A unified framework for information-theoretic generalization bounds [8.04975023021212]
本稿では,学習アルゴリズムにおける情報理論の一般化境界を導出するための一般的な手法を提案する。
主な技術的ツールは、測度の変化と、$L_psi_p$ Orlicz空間におけるヤングの不等式の緩和に基づく確率的デコリレーション補題である。
論文 参考訳（メタデータ） (2023-05-18T15:36:20Z) - Minimalistic Predictions to Schedule Jobs with Online Precedence
Constraints [117.8317521974783]
オンライン優先制約による非サーボ的スケジューリングについて検討する。
アルゴリズムは、任意のジョブ依存に偏りがなく、前任者がすべて完了した場合に限り、ジョブについて学習する。
論文 参考訳（メタデータ） (2023-01-30T13:17:15Z) - On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。
他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。
ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
論文 参考訳（メタデータ） (2022-07-01T17:58:29Z) - Towards Data-Algorithm Dependent Generalization: a Case Study on
Overparameterized Linear Regression [19.047997113063147]
本稿では,データ依存学習軌跡全体の一般化挙動を考察したデータ-アルゴリズム整合性の概念を提案する。
我々は、データ依存軌道解析を行い、そのような環境での互換性に十分な条件を導出する。
論文 参考訳（メタデータ） (2022-02-12T12:42:36Z) - Characterizing the Generalization Error of Gibbs Algorithm with
Symmetrized KL information [18.92529916180208]
教師付き学習アルゴリズムの一般化誤差の境界は、学習理論における最も重要な問題の1つである。
我々の主な貢献は、よく知られたギブスアルゴリズムの予測一般化誤差を正確に評価することである。
論文 参考訳（メタデータ） (2021-07-28T22:20:34Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Information-Theoretic Bounds on the Moments of the Generalization Error
of Learning Algorithms [19.186110989897738]
一般化エラー境界は、機械学習モデルの性能を理解するために重要である。
本稿では,機械学習モデルの一般化動作を,一般化誤差モーメントに対する特徴付け(バウンド)に基づいてより洗練された分析を行う。
論文 参考訳（メタデータ） (2021-02-03T11:38:00Z) - Learning Output Embeddings in Structured Prediction [73.99064151691597]
構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。
原空間における予測は、前像問題の解法により計算される。
本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
論文 参考訳（メタデータ） (2020-07-29T09:32:53Z) - A General Framework for Consistent Structured Prediction with Implicit
Loss Embeddings [113.15416137912399]
構造化予測のための理論的・アルゴリズム的な枠組みを提案し,解析する。
問題に対して適切な幾何を暗黙的に定義する、損失関数の大規模なクラスについて検討する。
出力空間を無限の濃度で扱うとき、推定子の適切な暗黙の定式化が重要であることが示される。
論文 参考訳（メタデータ） (2020-02-13T10:30:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。