論文の概要: Information-theoretic Limits of Learning and Estimation

• arxiv url: http://arxiv.org/abs/2605.06710v1
• Date: Wed, 06 May 2026 20:30:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.480371
• Title: Information-theoretic Limits of Learning and Estimation
• Title（参考訳）: 学習と推定における情報理論の限界
• Abstract要約: 情報理論は、どんな学習や推定アルゴリズムでも達成できる、そして達成できないものに、基本的な限界を確立する上で、中心的な役割を果たす。 本写本は、次の『カバー』第3版とトーマスの『情報理論の要素』に含めることを検討中の章の前稿を含んでいる。
• 参考スコア（独自算出の注目度）: 5.586191108738563
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Information theory plays a central role in establishing fundamental limits on what any learning or estimation algorithm can -- and cannot -- achieve, regardless of computational power. In this chapter, we provide an introduction to these connections. End-of-chapter exercises makes the material suitable for both classroom use and self-study. We begin by introducing concentration inequalities along with the notions of covering and packing in metric spaces, and the associated concept of metric entropy. These tools are essential for our analysis. We then introduce the learning-theoretic framework and derive upper bounds on generalization error in terms of metric entropy, Rademacher complexity, and the VC dimension, as well as mutual information and relative entropy. Finally we discuss the minimax estimation framework and establish lower bounds on minimax risk using Fano's inequality, yielding bounds in terms of relative entropy and covering and packing numbers. This manuscript contains preprint of a chapter under consideration for inclusion in the forthcoming third edition of Cover and Thomas's Elements of Information Theory, posted with permission from Wiley. It would follow the chapter posted at arXiv:2605.02989 . The table of contents of the new edition can be found at: https://docs.google.com/document/d/1L-m4oQEJw1PJhoxBeMwrrBD8S_HmvzMEkPbYvS24980/edit?usp=sharing . For feedback, please contact abbas@ee.stanford.edu.
• Abstract（参考訳）: 情報理論は、どんな学習や推定アルゴリズムでも、計算能力に関係なく達成できる、そして達成できないものに、基本的な限界を確立する上で、中心的な役割を果たす。 この章では、これらの関連について紹介する。 エンド・オブ・チャプター・エクササイズは、教材を教室での使用にも自己学習にも適している。 まず、濃度の不等式と、計量空間における被覆と充填の概念、および関連する計量エントロピーの概念を導入する。 これらのツールは分析に不可欠です。 次に、学習理論の枠組みを導入し、計量エントロピー、ラデマッハ複雑性、VC次元、および相互情報および相対エントロピーの観点から一般化誤差の上限を導出する。 最後に、ミニマックス推定の枠組みについて議論し、ファノの不等式を用いてミニマックスリスクの下位境界を定め、相対エントロピーおよび被覆および包装数の観点から境界を求める。 この写本には、近日出版予定の『カバー』第3版と『トーマスの情報理論の要素』に、ワイリーの許可を得て掲載される章のプレプリントが含まれている。 これはarXiv:2605.02989の章に続く。 https://docs.google.com/document/d/1L-m4oQEJw1PhoxBeMwrrBD8S_HmvzMEkPbYvS24980/edit? usp=共有。 フィードバックについては abbas@ee.stanford.edu に連絡してください。

関連論文リスト

• Information Theory and Statistical Learning [2.0305676256390934]
  学習理論と情報理論は、モデルトレーニングと基本性能限界の特性の両方に交差する。 この章は、線形回帰からロジスティック回帰から自己回帰モデルまで、モデルトレーニングにおける分散尺度の役割に焦点を当てている。 生成拡散モデルの扱いは、文献で典型的であるよりも、より体系的で明示的な導出を提供する。
  論文  参考訳（メタデータ） (2026-05-04T16:52:14Z)
• Statistical Learning Theory in Lean 4: Empirical Processes from Scratch [57.00315741159824]
  本稿では,経験的プロセス理論に基づく統計学習理論(SLT)の総合的なLean 4形式化について述べる。 エンドツーエンドの正式なインフラストラクチャは、最新のLean 4 Mathlibライブラリに欠けている内容を実装しています。 この研究は再利用可能な形式基盤を確立し、機械学習理論の今後の発展への扉を開く。
  論文  参考訳（メタデータ） (2026-02-02T16:24:53Z)
• On the Minimax Regret of Sequential Probability Assignment via Square-Root Entropy [70.10668953625247]
  側情報がない場合のミニマックス後悔は、逐次二乗根エントロピーの観点から上界化可能であることを示す。 側情報を用いた逐次確率割当問題では,上記のエントロピーに基づいて上界と下界の両方を発達させる。
  論文  参考訳（メタデータ） (2025-03-22T17:26:34Z)
• Minimum Description Length and Generalization Guarantees for Representation Learning [16.2444595840653]
  本稿では,表現学習アルゴリズムの一般化誤差の上限を導出するフレームワークを提案する。 エンコーダの入力と表現の間の相互情報ではなく、我々の新しい境界は「マルチレター」相対エントロピーを含む。 著者たちの最もよく知る限り、確立された一般化境界は、情報ボトルネック型エンコーダと表現学習のための第一種である。
  論文  参考訳（メタデータ） (2024-02-05T18:12:28Z)
• Fat Shattering, Joint Measurability, and PAC Learnability of POVM Hypothesis Classes [8.594140167290098]
  我々は、PAC学習性に必要な条件と十分な条件を整合させることにより、量子測定クラスの学習可能性を特徴づける。 有限次元POVMクラスであっても、前処理におけるVC次元の一般化上界は、しばしば無限大であることが示される。 有限次元ヒルベルト空間上で定義されるすべての測定クラスがPAC学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-08-21T18:38:24Z)
• Fast Rate Information-theoretic Bounds on Generalization Errors [8.102199960821165]
  学習アルゴリズムの一般化誤差は、学習アルゴリズムの学習データにおける損失と、目に見えないテストデータにおける損失との違いを指す。 一般化誤差に関する様々な情報理論境界が文献で導出されている。 本稿では,これらの境界の厳密性について,それらの収束速度の標本サイズ依存性の観点から検討する。
  論文  参考訳（メタデータ） (2023-03-26T08:59:05Z)
• Shannon theory beyond quantum: information content of a source [68.8204255655161]
  情報内容の定義を運用確率理論に拡張する。 副添加物として関連する性質と状態の純度と情報量との関係を検証した。
  論文  参考訳（メタデータ） (2021-12-23T16:36:06Z)
• Geometry of Banach spaces: a new route towards Position Based Cryptography [65.51757376525798]
  我々は幾何学的機能解析の観点から位置ベース量子暗号(PBQC)について検討し,その量子ゲームとの関係について考察した。 私たちが関心を持っている主な質問は、PBQCプロトコルのセキュリティを損なうために、攻撃者の連合が共有しなければならない、最適な絡み合いの量を求めることです。 より複雑なバナッハ空間の型プロパティの理解は、仮定を捨て、我々のプロトコルを攻撃するのに使用されるリソースに条件のない低い境界をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-03-30T13:55:11Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。