論文の概要: Towards a theory of out-of-distribution learning
- arxiv url: http://arxiv.org/abs/2109.14501v1
- Date: Wed, 29 Sep 2021 15:35:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-30 15:04:08.212057
- Title: Towards a theory of out-of-distribution learning
- Title(参考訳): 分散学習の理論に向けて
- Authors: Ali Geisa, Ronak Mehta, Hayden S. Helm, Jayanta Dey, Eric Eaton, Carey
E. Priebe, Joshua T. Vogelstein
- Abstract要約: 我々は,学習者が与えられた問題に対してデータを活用することができる量を定量化するために,テキストバッファラーニング効率(LE)を導入する。
本稿では,このフレームワークが伝達,マルチタスク,メタ,継続,生涯学習を特徴付けるのにいかに汎用的であるかを示す。
- 参考スコア(独自算出の注目度): 22.55793847392211
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What is learning? 20 century formalizations of learning theory -- which
precipitated revolutions in artificial intelligence -- focus primarily on
\textit{in-distribution} learning, that is, learning under the assumption that
the training data are sampled from the same distribution as the evaluation
distribution. This assumption renders these theories inadequate for
characterizing 21$^{st}$ century real world data problems, which are typically
characterized by evaluation distributions that differ from the training data
distributions (referred to as out-of-distribution learning). We therefore make
a small change to existing formal definitions of learnability by relaxing that
assumption. We then introduce \textbf{learning efficiency} (LE) to quantify the
amount a learner is able to leverage data for a given problem, regardless of
whether it is an in- or out-of-distribution problem. We then define and prove
the relationship between generalized notions of learnability, and show how this
framework is sufficiently general to characterize transfer, multitask, meta,
continual, and lifelong learning. We hope this unification helps bridge the gap
between empirical practice and theoretical guidance in real world problems.
Finally, because biological learning continues to outperform machine learning
algorithms on certain OOD challenges, we discuss the limitations of this
framework vis-\'a-vis its ability to formalize biological learning, suggesting
multiple avenues for future research.
- Abstract(参考訳): 学習とは何か?
20世紀の学習理論の形式化 - 人工知能の革命を沈降させた -- は、主に、トレーニングデータが評価分布と同じ分布からサンプル化されているという仮定の下で学習することに焦点を当てている。
この仮定は、21$^{st}$センチュリー実世界データ問題の特徴付けに不適当であり、これは典型的には、トレーニングデータ分布と異なる評価分布(分散学習と呼ばれる)によって特徴づけられる。
そこで我々は,その仮定を緩和することにより,学習可能性の形式的定義に小さな変更を加える。
次に、学習者が与えられた問題に対してデータを活用することができる量を、それが分配問題であるかどうかに関わらず定量化するために、 \textbf{learning efficiency} (le)を導入する。
次に、学習可能性の一般化された概念間の関係を定義し、証明し、このフレームワークがトランスファー、マルチタスク、メタ、継続学習、生涯学習を特徴付けるのに十分一般的であることを示す。
この統一が実世界の問題における経験的実践と理論的指導の間のギャップを埋めるのに役立つことを願っている。
最後に、生物学習は特定のOOD課題において機械学習アルゴリズムよりも優れ続けているため、このフレームワークが生物学的学習を形式化する能力の限界について論じ、今後の研究のために複数の道が提案される。
関連論文リスト
- On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳(メタデータ) (2023-06-07T21:35:26Z) - To Compress or Not to Compress- Self-Supervised Learning and Information
Theory: A Review [30.87092042943743]
ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。
自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。
情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
論文 参考訳(メタデータ) (2023-04-19T00:33:59Z) - A Comprehensive Survey of Continual Learning: Theory, Method and
Application [64.23253420555989]
本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。
連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
論文 参考訳(メタデータ) (2023-01-31T11:34:56Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳(メタデータ) (2022-04-26T02:22:28Z) - Perturbation Theory for the Information Bottleneck [6.117084972237769]
情報ボトルネック (IB) は、データから関連情報を抽出する手法である。
IB問題の非線形性は、一般に計算コストが高く解析的に難解である。
IB法に対する摂動理論を導出し,学習開始の完全な特徴を報告した。
論文 参考訳(メタデータ) (2021-05-28T16:59:01Z) - Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need
in MOOC Forums [58.221459787471254]
大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。
多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。
MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。
本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
論文 参考訳(メタデータ) (2021-04-26T15:12:13Z) - Constrained Learning with Non-Convex Losses [119.8736858597118]
学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
論文 参考訳(メタデータ) (2021-03-08T23:10:33Z) - Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory
to Learning Algorithms [91.3755431537592]
プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。
この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
論文 参考訳(メタデータ) (2021-01-26T17:11:40Z) - A Theory of Universal Learning [26.51949485387526]
普遍的な学習の確率は3つしかないことを示す。
任意の概念クラスの学習曲線は指数的あるいは任意に遅い速度で減衰することを示す。
論文 参考訳(メタデータ) (2020-11-09T15:10:32Z) - Analytic Manifold Learning: Unifying and Evaluating Representations for
Continuous Control [32.773203015440075]
ストリーミング高次元観測から再利用可能な状態表現を学習する問題に対処する。
これは強化学習(Reinforcement Learning, RL)のような分野において重要であり、トレーニング中に非定常的なデータ分布を生成する。
論文 参考訳(メタデータ) (2020-06-15T19:33:47Z) - A survey on domain adaptation theory: learning bounds and theoretical
guarantees [17.71634393160982]
この調査の主な目的は、特定の、そして間違いなく最も人気のある、移動学習のサブフィールドにおける最先端の理論的結果の概要を提供することである。
このサブフィールドでは、学習タスクは同じままで、トレーニングとテストデータの間でデータ分布が変化すると仮定される。
本稿では、ドメイン適応問題に関連する既存の結果の最新の記述について述べる。
論文 参考訳(メタデータ) (2020-04-24T16:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。