論文の概要: Towards a theory of out-of-distribution learning

• arxiv url: http://arxiv.org/abs/2109.14501v1
• Date: Wed, 29 Sep 2021 15:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 15:04:08.212057
• Title: Towards a theory of out-of-distribution learning
• Title（参考訳）: 分散学習の理論に向けて
• Authors: Ali Geisa, Ronak Mehta, Hayden S. Helm, Jayanta Dey, Eric Eaton, Carey E. Priebe, Joshua T. Vogelstein
• Abstract要約: 我々は,学習者が与えられた問題に対してデータを活用することができる量を定量化するために,テキストバッファラーニング効率(LE)を導入する。 本稿では,このフレームワークが伝達,マルチタスク,メタ,継続,生涯学習を特徴付けるのにいかに汎用的であるかを示す。
• 参考スコア（独自算出の注目度）: 22.55793847392211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: What is learning? 20 century formalizations of learning theory -- which precipitated revolutions in artificial intelligence -- focus primarily on \textit{in-distribution} learning, that is, learning under the assumption that the training data are sampled from the same distribution as the evaluation distribution. This assumption renders these theories inadequate for characterizing 21$^{st}$ century real world data problems, which are typically characterized by evaluation distributions that differ from the training data distributions (referred to as out-of-distribution learning). We therefore make a small change to existing formal definitions of learnability by relaxing that assumption. We then introduce \textbf{learning efficiency} (LE) to quantify the amount a learner is able to leverage data for a given problem, regardless of whether it is an in- or out-of-distribution problem. We then define and prove the relationship between generalized notions of learnability, and show how this framework is sufficiently general to characterize transfer, multitask, meta, continual, and lifelong learning. We hope this unification helps bridge the gap between empirical practice and theoretical guidance in real world problems. Finally, because biological learning continues to outperform machine learning algorithms on certain OOD challenges, we discuss the limitations of this framework vis-\'a-vis its ability to formalize biological learning, suggesting multiple avenues for future research.
• Abstract（参考訳）: 学習とは何か? 20世紀の学習理論の形式化 - 人工知能の革命を沈降させた -- は、主に、トレーニングデータが評価分布と同じ分布からサンプル化されているという仮定の下で学習することに焦点を当てている。 この仮定は、21$^{st}$センチュリー実世界データ問題の特徴付けに不適当であり、これは典型的には、トレーニングデータ分布と異なる評価分布(分散学習と呼ばれる)によって特徴づけられる。 そこで我々は,その仮定を緩和することにより,学習可能性の形式的定義に小さな変更を加える。 次に、学習者が与えられた問題に対してデータを活用することができる量を、それが分配問題であるかどうかに関わらず定量化するために、 \textbf{learning efficiency} (le)を導入する。 次に、学習可能性の一般化された概念間の関係を定義し、証明し、このフレームワークがトランスファー、マルチタスク、メタ、継続学習、生涯学習を特徴付けるのに十分一般的であることを示す。 この統一が実世界の問題における経験的実践と理論的指導の間のギャップを埋めるのに役立つことを願っている。 最後に、生物学習は特定のOOD課題において機械学習アルゴリズムよりも優れ続けているため、このフレームワークが生物学的学習を形式化する能力の限界について論じ、今後の研究のために複数の道が提案される。

関連論文リスト

• Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs [58.09253149867228]
  本稿では,LLMのドメイン知識を,問題解決に必要な数学的スキルの理解を通じて評価する。 汎用科学アシスタントとしてLLMを用いることで, LLMの確率分布の変化を評価するためにtextitNTKEvalを提案する。 系統的な分析では、文脈内学習中にドメイン理解の証拠が見つかる。 ある命令チューニングは、異なるデータでのトレーニングに関係なく、同様のパフォーマンス変化をもたらし、異なるスキルに対するドメイン理解の欠如を示唆している。
  論文  参考訳（メタデータ） (2024-05-24T12:04:54Z)
• When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
  メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。 継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。 本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
  論文  参考訳（メタデータ） (2023-11-09T09:49:50Z)
• A Definition of Continual Reinforcement Learning [69.56273766737527]
  強化学習問題の標準的な見方では、エージェントの目標は、長期的な報酬を最大化するポリシーを効率的に識別することである。 継続的強化学習とは、最高のエージェントが決して学習をやめない状態を指す。 エージェントの分析とカタログ化のための新しい数学的言語を通じて「学習をやめることはない」エージェントの概念を定式化する。
  論文  参考訳（メタデータ） (2023-07-20T17:28:01Z)
• The Learnability of In-Context Learning [16.182561312622315]
  そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。 本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。 文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
  論文  参考訳（メタデータ） (2023-03-14T13:28:39Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• A Domain-Agnostic Approach for Characterization of Lifelong Learning Systems [128.63953314853327]
  「生涯学習」システムには,1)継続的学習,2)伝達と適応,3)拡張性があります。 この一連のメトリクスは、様々な複雑な生涯学習システムの開発に役立てることができることを示す。
  論文  参考訳（メタデータ） (2023-01-18T21:58:54Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• A survey on domain adaptation theory: learning bounds and theoretical guarantees [17.71634393160982]
  この調査の主な目的は、特定の、そして間違いなく最も人気のある、移動学習のサブフィールドにおける最先端の理論的結果の概要を提供することである。 このサブフィールドでは、学習タスクは同じままで、トレーニングとテストデータの間でデータ分布が変化すると仮定される。 本稿では、ドメイン適応問題に関連する既存の結果の最新の記述について述べる。
  論文  参考訳（メタデータ） (2020-04-24T16:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。