論文の概要: Information Theory and Statistical Learning

• arxiv url: http://arxiv.org/abs/2605.02989v1
• Date: Mon, 04 May 2026 16:52:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.57047
• Title: Information Theory and Statistical Learning
• Title（参考訳）: 情報理論と統計的学習
• Authors: Abbas El Gamal,
• Abstract要約: 学習理論と情報理論は、モデルトレーニングと基本性能限界の特性の両方に交差する。 この章は、線形回帰からロジスティック回帰から自己回帰モデルまで、モデルトレーニングにおける分散尺度の役割に焦点を当てている。 生成拡散モデルの扱いは、文献で典型的であるよりも、より体系的で明示的な導出を提供する。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This manuscript contains preprint of a chapter under consideration for inclusion in the forthcoming third edition of {\em Cover and Thomas's Elements of Information Theory}, posted with permission from Wiley. The table of contents EIT-3 ToC of the new edition can be found at: https://docs.google.com/document/d/1L-m4oQEJw1PJhoxBeMwrrBD8S_HmvzMEkPbYvS24980/edit?usp=sharing . For feedback, please contact abbas@ee.stanford.edu Learning and information theory intersect in both model training and the characterization of fundamental performance limits. This manuscript provides a concise and accessible treatment of the first intersection, requiring only basic background in information theory and statistics at the senior undergraduate or first-year graduate level. End-of-chapter exercises make the material well suited for classroom use as well as self-study. The chapter focuses on the role of divergence measures in model training, with examples ranging from linear and logistic regression to autoregressive models, variational autoencoders, diffusion models, generative adversarial networks, and score-based models. It introduces the evidence lower bound (ELBO), $f$\!-divergences, and the Fisher divergence. In particular, the treatment of the generative diffusion model provides a more systematic and explicit derivation than is typical in the literature.
• Abstract（参考訳）: この写本には、ウィリーの許可を得て、次の第3版『情報理論の表紙とトーマスの要素』への含意を考慮に入れた章のプレプリントが含まれている。 https://docs.google.com/document/d/oQEJw1PhoxBeMwrrBD8S_HmvzMEkPbYvS24980/edit? usp=共有。 フィードバックについては、abbas@ee.stanford.edu Learningと情報理論をモデルトレーニングと基本性能限界の特性の両方に関連付けてください。 この写本は、情報理論と統計学の基本的な背景を大学院または1年生の大学院レベルでのみ必要としながら、第1交差点の簡潔かつアクセス可能な処置を提供する。 エンド・オブ・チャプター・エクササイズにより、教材は教室での使用や自己学習に適している。 この章は、線形回帰やロジスティック回帰から自己回帰モデル、変分オートエンコーダ、拡散モデル、生成的敵ネットワーク、スコアベースモデルまで、モデルトレーニングにおける分散尺度の役割に焦点を当てている。 これはエビデンスローバウンド(ELBO)、$f$\! -ダイバージェンス、フィッシャー分岐。 特に、生成拡散モデルの扱いは、文献で典型的であるよりも、より体系的で明示的な導出を提供する。

関連論文リスト

• Feature-Space Generative Models for One-Shot Class-Incremental Learning [33.77408261771739]
  FSCIL(Few-shot class-incremental Learning)は、最初にベースクラスのデータセットで訓練されたモデルが、限られたデータで新しいクラスを認識することで、拡大する問題空間に適応しなければならないパラダイムである。 本稿では,ベースクラスと新しいクラス埋め込みが構造的類似性を持つという仮説に基づく新しいアプローチを提案する。 我々のアプローチであるGen1Sは、複数のベンチマークやバックボーンアーキテクチャにわたって、最先端技術に対する新しいクラス認識を一貫して改善します。
  論文  参考訳（メタデータ） (2026-01-25T16:45:11Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• Additive-feature-attribution methods: a review on explainable artificial intelligence for fluid dynamics and heat transfer [1.8434042562191815]
  本稿では,流体力学分野における解釈可能な深層学習モデルの実装において,説明可能性技術,特に加法-機能-属性手法が重要であることを示す。 加法-機能-寄与法の主な応用として, モデリング, 流体力学の基礎, 流体力学, 伝熱乱流の応用の3つの主要なグループに分けて紹介する。
  論文  参考訳（メタデータ） (2024-09-18T13:59:02Z)
• The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
  本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。 特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。 コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
  論文  参考訳（メタデータ） (2024-04-01T16:00:01Z)
• Demystifying Variational Diffusion Models [19.977841588918373]
  拡散モデルに関する既存の研究のほとんどは、応用か理論的な貢献に焦点をあてている。 我々は前者を階層的潜在変数モデルのような拡散モデルに再検討し、全体論的視点を合成する。 平均的な読者に必要条件が少なくなるため、結果の物語は簡単に追従できる。
  論文  参考訳（メタデータ） (2024-01-11T22:37:37Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• Guided Deep Metric Learning [0.9786690381850356]
  我々は、ガイドドディープメトリックラーニングと呼ばれる新しいDML手法を提案する。 提案手法は、最大40%の改善まで、より優れた多様体の一般化と表現が可能である。
  論文  参考訳（メタデータ） (2022-06-04T17:34:11Z)
• Algebraic Learning: Towards Interpretable Information Modeling [0.0]
  この論文は、一般的な情報モデリングにおける解釈可能性の問題に対処し、問題を2つの範囲から緩和する試みである。 まず、問題指向の視点を用いて、興味深い数学的性質が自然に現れるモデリング実践に知識を取り入れる。 第二に、訓練されたモデルを考えると、基礎となるシステムに関するさらなる洞察を抽出するために様々な方法を適用することができる。
  論文  参考訳（メタデータ） (2022-03-13T15:53:39Z)
• Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
  クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。 既存のFSCモデルに対する新しいトレーニング手法を提案する。 説明誘導学習はモデル一般化を効果的に改善することを示す。
  論文  参考訳（メタデータ） (2020-07-17T07:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。