論文の概要: Information-Theoretic Foundations for Machine Learning
- arxiv url: http://arxiv.org/abs/2407.12288v2
- Date: Thu, 18 Jul 2024 14:35:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 13:41:46.933983
- Title: Information-Theoretic Foundations for Machine Learning
- Title（参考訳）: 機械学習のための情報理論の基礎
- Authors: Hong Jun Jeon, Benjamin Van Roy,
- Abstract要約: 本稿では,洞窟外に存在する問題に答えようとする理論的枠組みを提案する。
我々はベイズ統計とシャノンの情報理論に根ざしたフレームワークを提供し、機械学習における多くの現象の分析を統一するのに十分一般的なものである。
我々は、不特定アルゴリズムの性能を特徴付けるセクションを締めくくる。
- 参考スコア（独自算出の注目度）: 20.617552198581024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The staggering progress of machine learning in the past decade has been a sight to behold. In retrospect, it is both remarkable and unsettling that these milestones were achievable with little to no rigorous theory to guide experimentation. Despite this fact, practitioners have been able to guide their future experimentation via observations from previous large-scale empirical investigations. However, alluding to Plato's Allegory of the cave, it is likely that the observations which form the field's notion of reality are but shadows representing fragments of that reality. In this work, we propose a theoretical framework which attempts to answer what exists outside of the cave. To the theorist, we provide a framework which is mathematically rigorous and leaves open many interesting ideas for future exploration. To the practitioner, we provide a framework whose results are very intuitive, general, and which will help form principles to guide future investigations. Concretely, we provide a theoretical framework rooted in Bayesian statistics and Shannon's information theory which is general enough to unify the analysis of many phenomena in machine learning. Our framework characterizes the performance of an optimal Bayesian learner, which considers the fundamental limits of information. Throughout this work, we derive very general theoretical results and apply them to derive insights specific to settings ranging from data which is independently and identically distributed under an unknown distribution, to data which is sequential, to data which exhibits hierarchical structure amenable to meta-learning. We conclude with a section dedicated to characterizing the performance of misspecified algorithms. These results are exciting and particularly relevant as we strive to overcome increasingly difficult machine learning challenges in this endlessly complex world.
- Abstract（参考訳）: 過去10年間の機械学習の驚くべき進歩は、注目に値するものとなっている。
振り返ってみれば、これらのマイルストーンが実験を導くための厳密な理論をほとんど、あるいは全く持たなかったことは、目覚ましいことと不安である。
この事実にもかかわらず、実践者は以前の大規模な実証実験の観察を通して将来の実験を導くことができた。
しかし、プラトンの洞窟のアレゴリー(英語版)に言及すると、フィールドの現実の概念を形成する観察は、その現実の断片を表す影である可能性が高い。
本研究では,洞窟外に存在する問題に答えようとする理論的枠組みを提案する。
理論家にとって、我々は数学的に厳密なフレームワークを提供し、将来の探索のために多くの興味深いアイデアを開放する。
実践者には、結果が非常に直感的で、一般的に、将来の調査を導くための原則を形成するのに役立つフレームワークを提供する。
具体的には、ベイズ統計とシャノンの情報理論に根ざした理論的枠組みを提供する。
本フレームワークは,情報の基本的限界を考慮した最適なベイズ学習者の性能を特徴付ける。
この研究を通じて、非常に一般的な理論的結果を導出し、未知の分布下で独立に分布するデータから、連続的なデータ、メタラーニングに適する階層構造を示すデータまで、設定に特異的な洞察を導出する。
我々は、不特定アルゴリズムの性能を特徴付けるセクションを締めくくる。
これらの結果はエキサイティングで、この無限に複雑な世界でますます困難な機械学習の課題を克服しようと努めている。
関連論文リスト
- Neural Causal Abstractions [63.21695740637627]
我々は、変数とそのドメインをクラスタリングすることで、因果抽象化の新しいファミリーを開発する。
本稿では,ニューラルネットワークモデルを用いて,そのような抽象化が現実的に学習可能であることを示す。
本実験は、画像データを含む高次元設定に因果推論をスケールする方法を記述し、その理論を支持する。
論文 参考訳（メタデータ） (2024-01-05T02:00:27Z) - Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳（メタデータ） (2023-10-24T19:50:41Z) - A Comprehensive Survey of Continual Learning: Theory, Method and
Application [64.23253420555989]
本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。
連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
論文 参考訳（メタデータ） (2023-01-31T11:34:56Z) - A Theoretical Study of Inductive Biases in Contrastive Learning [32.98250585760665]
モデルクラスから派生した帰納的バイアスの効果を取り入れた,自己指導型学習に関する最初の理論的分析を行った。
モデルが限られたキャパシティを持つ場合、コントラスト表現はモデルアーキテクチャと互換性のある特定のクラスタリング構造を復元することを示す。
論文 参考訳（メタデータ） (2022-11-27T01:53:29Z) - Granular Directed Rough Sets, Concept Organization and Soft Clustering [0.0]
上向きの粗集合は、著者によって以前の論文で紹介され、研究されている。
これは、驚くべき代数的意味論を持つ2つの異なる粒度の方向で、彼女によって拡張される。
この研究は、関連する領域において重要な理論的および実践的な応用が期待されている。
論文 参考訳（メタデータ） (2022-08-13T11:01:05Z) - Deep Learning to See: Towards New Foundations of Computer Vision [88.69805848302266]
この本はコンピュータビジョンの分野における科学的進歩を批判している。
情報に基づく自然法則の枠組みにおける視覚の研究を提案する。
論文 参考訳（メタデータ） (2022-06-30T15:20:36Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳（メタデータ） (2022-04-26T02:22:28Z) - A Reflection on Learning from Data: Epistemology Issues and Limitations [1.8047694351309205]
本稿では,データから得られた知識の問題点と限界について考察する。
この論文は、一般的な数学的理論を用いてプロセスを記述する際の欠点について、いくつかの光を当てている。
さらに、データから学ぶことに特化した理論の必要性を強調している。
論文 参考訳（メタデータ） (2021-07-28T11:05:34Z) - Which Mutual-Information Representation Learning Objectives are
Sufficient for Control? [80.2534918595143]
相互情報は、データの表現を学習するために魅力的な形式を提供する。
本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。
意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-14T10:12:34Z) - Random thoughts about Complexity, Data and Models [0.0]
データサイエンスと機械学習は、過去10年間強く成長してきた。
我々は「データとモデル」の微妙な関係について検討する。
アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
論文 参考訳（メタデータ） (2020-04-16T14:27:22Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。