論文の概要: Information-Theoretic Foundations for Machine Learning
- arxiv url: http://arxiv.org/abs/2407.12288v4
- Date: Wed, 21 May 2025 21:17:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:47.62507
- Title: Information-Theoretic Foundations for Machine Learning
- Title（参考訳）: 機械学習のための情報理論の基礎
- Authors: Hong Jun Jeon, Benjamin Van Roy,
- Abstract要約: 本稿では,機械学習における既存の実践に厳密な情報提供を試みる理論的枠組みを提案する。
我々はベイズ統計とシャノンの情報理論に根ざしたフレームワークを提供し、機械学習における多くの現象の分析を統一するのに十分一般的なものである。
データ複雑性の増大に伴って弱まる既存の分析とは異なり、理論的ツールはさまざまな機械学習設定に対して正確な洞察を提供する。
- 参考スコア（独自算出の注目度）: 20.617552198581024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The progress of machine learning over the past decade is undeniable. In retrospect, it is both remarkable and unsettling that this progress was achievable with little to no rigorous theory to guide experimentation. Despite this fact, practitioners have been able to guide their future experimentation via observations from previous large-scale empirical investigations. In this work, we propose a theoretical framework which attempts to provide rigor to existing practices in machine learning. To the theorist, we provide a framework which is mathematically rigorous and leaves open many interesting ideas for future exploration. To the practitioner, we provide a framework whose results are simple, and provide intuition to guide future investigations across a wide range of learning paradigms. Concretely, we provide a theoretical framework rooted in Bayesian statistics and Shannon's information theory which is general enough to unify the analysis of many phenomena in machine learning. Our framework characterizes the performance of an optimal Bayesian learner as it learns from a stream of experience. Unlike existing analyses that weaken with increasing data complexity, our theoretical tools provide accurate insights across diverse machine learning settings. Throughout this work, we derive theoretical results and demonstrate their generality by apply them to derive insights specific to settings. These settings range from learning from data which is independently and identically distributed under an unknown distribution, to data which is sequential, to data which exhibits hierarchical structure amenable to meta-learning, and finally to data which is not fully explainable under the learner's beliefs (misspecification). These results are particularly relevant as we strive to understand and overcome increasingly difficult machine learning challenges in this endlessly complex world.
- Abstract（参考訳）: 過去10年間の機械学習の進歩は否定できない。
振り返ってみれば、この進歩が実験を導くための厳密な理論をほとんど、あるいは全く持たないまま達成できたことは、目覚ましいことと不安である。
この事実にもかかわらず、実践者は以前の大規模な実証実験の観察を通して将来の実験を導くことができた。
本研究では,機械学習における既存の実践に厳密な情報提供を目的とした理論的枠組みを提案する。
理論家にとって、我々は数学的に厳密なフレームワークを提供し、将来の探索のために多くの興味深いアイデアを開放する。
実践者には、結果が単純であるフレームワークを提供し、幅広い学習パラダイムにわたる将来の調査をガイドするための直感を提供する。
具体的には、ベイズ統計とシャノンの情報理論に根ざした理論的枠組みを提供する。
本フレームワークは,経験の流れから学習するベイズ学習者の性能を特徴付ける。
データ複雑性の増大に伴って弱まる既存の分析とは異なり、理論的ツールはさまざまな機械学習設定に対して正確な洞察を提供する。
この研究を通じて、理論的な結果を導き、それらを適用して、設定に固有の洞察を導出することで、それらの一般化を実証する。
これらの設定は、独立して、未知の分布の下で均等に分散されたデータから、逐次的なデータ、メタラーニングに適する階層構造を示すデータ、そして学習者の信念(ミス種別化)の下で完全に説明できないデータまで様々である。
これらの結果は、この無限に複雑な世界でますます困難な機械学習の課題を理解し、克服しようと努めているため、特に関係がある。
関連論文リスト
- Global Convergence of Continual Learning on Non-IID Data [51.99584235667152]
回帰モデルの連続学習のための総合的・包括的理論的解析を行う。
一般データ条件下で連続学習のほぼ確実に収束する結果を初めて確立する。
論文 参考訳（メタデータ） (2025-03-24T10:06:07Z) - Neural Causal Abstractions [63.21695740637627]
我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。
本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。
本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
論文 参考訳（メタデータ） (2024-01-05T02:00:27Z) - Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳（メタデータ） (2023-10-24T19:50:41Z) - A Comprehensive Survey of Continual Learning: Theory, Method and
Application [64.23253420555989]
本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。
連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
論文 参考訳（メタデータ） (2023-01-31T11:34:56Z) - A Theoretical Study of Inductive Biases in Contrastive Learning [32.98250585760665]
モデルクラスから派生した帰納的バイアスの効果を取り入れた,自己指導型学習に関する最初の理論的分析を行った。
モデルが限られたキャパシティを持つ場合、コントラスト表現はモデルアーキテクチャと互換性のある特定のクラスタリング構造を復元することを示す。
論文 参考訳（メタデータ） (2022-11-27T01:53:29Z) - Granular Directed Rough Sets, Concept Organization and Soft Clustering [0.0]
上向きの粗集合は、著者によって以前の論文で紹介され、研究されている。
これは、驚くべき代数的意味論を持つ2つの異なる粒度の方向で、彼女によって拡張される。
この研究は、関連する領域において重要な理論的および実践的な応用が期待されている。
論文 参考訳（メタデータ） (2022-08-13T11:01:05Z) - Deep Learning to See: Towards New Foundations of Computer Vision [88.69805848302266]
この本はコンピュータビジョンの分野における科学的進歩を批判している。
情報に基づく自然法則の枠組みにおける視覚の研究を提案する。
論文 参考訳（メタデータ） (2022-06-30T15:20:36Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳（メタデータ） (2022-04-26T02:22:28Z) - A Reflection on Learning from Data: Epistemology Issues and Limitations [1.8047694351309205]
本稿では,データから得られた知識の問題点と限界について考察する。
この論文は、一般的な数学的理論を用いてプロセスを記述する際の欠点について、いくつかの光を当てている。
さらに、データから学ぶことに特化した理論の必要性を強調している。
論文 参考訳（メタデータ） (2021-07-28T11:05:34Z) - Which Mutual-Information Representation Learning Objectives are
Sufficient for Control? [80.2534918595143]
相互情報は、データの表現を学習するために魅力的な形式を提供する。
本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。
意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-14T10:12:34Z) - Random thoughts about Complexity, Data and Models [0.0]
データサイエンスと機械学習は、過去10年間強く成長してきた。
我々は「データとモデル」の微妙な関係について検討する。
アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
論文 参考訳（メタデータ） (2020-04-16T14:27:22Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。