論文の概要: Towards a theory of out-of-distribution learning
- arxiv url: http://arxiv.org/abs/2109.14501v5
- Date: Fri, 7 Jun 2024 17:24:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 23:21:09.506536
- Title: Towards a theory of out-of-distribution learning
- Title（参考訳）: アウト・オブ・ディストリビューション・ラーニングの理論に向けて
- Authors: Jayanta Dey, Ali Geisa, Ronak Mehta, Tyler M. Tomita, Hayden S. Helm, Haoyin Xu, Eric Eaton, Jeffery Dick, Carey E. Priebe, Joshua T. Vogelstein,
- Abstract要約: 本稿では,PAC学習フレームワークを用いて,異なる学習課題を定義するための時系列的アプローチを提案する。
まずは流通学習から始め、最近提案された生涯学習や継続学習へと進む。
この研究によって、さまざまなタイプの学習を定量化する、普遍的に合意されたアプローチがもたらされることを期待しています。
- 参考スコア（独自算出の注目度）: 23.878004729029644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning is a process wherein a learning agent enhances its performance through exposure of experience or data. Throughout this journey, the agent may encounter diverse learning environments. For example, data may be presented to the leaner all at once, in multiple batches, or sequentially. Furthermore, the distribution of each data sample could be either identical and independent (iid) or non-iid. Additionally, there may exist computational and space constraints for the deployment of the learning algorithms. The complexity of a learning task can vary significantly, depending on the learning setup and the constraints imposed upon it. However, it is worth noting that the current literature lacks formal definitions for many of the in-distribution and out-of-distribution learning paradigms. Establishing proper and universally agreed-upon definitions for these learning setups is essential for thoroughly exploring the evolution of ideas across different learning scenarios and deriving generalized mathematical bounds for these learners. In this paper, we aim to address this issue by proposing a chronological approach to defining different learning tasks using the provably approximately correct (PAC) learning framework. We will start with in-distribution learning and progress to recently proposed lifelong or continual learning. We employ consistent terminology and notation to demonstrate how each of these learning frameworks represents a specific instance of a broader, more generalized concept of learnability. Our hope is that this work will inspire a universally agreed-upon approach to quantifying different types of learning, fostering greater understanding and progress in the field.
- Abstract（参考訳）: 学習とは、学習エージェントが経験やデータを公開することによって、そのパフォーマンスを高めるプロセスである。
この旅を通じて、エージェントは多様な学習環境に遭遇する可能性がある。
例えば、データは一度に、複数のバッチで、あるいはシーケンシャルに、リーンに提示される。
さらに、各データサンプルの分布は同一であり、独立した(iid)か非IDである可能性がある。
さらに、学習アルゴリズムの展開には計算的制約や空間的制約が存在する可能性がある。
学習タスクの複雑さは、学習のセットアップとそれに課される制約によって大きく異なる可能性がある。
しかし、現在の文献には、分布論と分布論の学習パラダイムの多くについて、形式的な定義が欠けていることに注意する必要がある。
これらの学習環境に対する適切な、そして普遍的に合意された定義を確立することは、異なる学習シナリオにまたがるアイデアの進化を徹底的に探求し、これらの学習者に一般化された数学的境界を導出するために不可欠である。
本稿では,PAC学習フレームワークを用いて,異なる学習課題を定義するための時系列的アプローチを提案することにより,この問題に対処することを目的とする。
まずは流通学習から始め、最近提案された生涯学習や継続学習へと進む。
我々は、これらの学習フレームワークが、より広くより一般化された学習可能性の概念の特定のインスタンスをどのように表現しているかを示すために、一貫した用語と表記を用いる。
この研究によって、さまざまなタイプの学習を定量化し、この分野の理解と進歩を促進する、普遍的に合意されたアプローチがもたらされることを期待しています。
関連論文リスト
- Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs [58.09253149867228]
本稿では,LLMのドメイン知識を,問題解決に必要な数学的スキルの理解を通じて評価する。
汎用科学アシスタントとしてLLMを用いることで, LLMの確率分布の変化を評価するためにtextitNTKEvalを提案する。
系統的な分析では、文脈内学習中にドメイン理解の証拠が見つかる。
ある命令チューニングは、異なるデータでのトレーニングに関係なく、同様のパフォーマンス変化をもたらし、異なるスキルに対するドメイン理解の欠如を示唆している。
論文 参考訳（メタデータ） (2024-05-24T12:04:54Z) - When Meta-Learning Meets Online and Continual Learning: A Survey [39.53836535326121]
メタ学習は学習アルゴリズムを最適化するためのデータ駆動型アプローチである。
継続的な学習とオンライン学習はどちらも、ストリーミングデータでモデルを漸進的に更新する。
本稿では,一貫した用語と形式記述を用いて,様々な問題設定を整理する。
論文 参考訳（メタデータ） (2023-11-09T09:49:50Z) - A Definition of Continual Reinforcement Learning [69.56273766737527]
強化学習問題の標準的な見方では、エージェントの目標は、長期的な報酬を最大化するポリシーを効率的に識別することである。
継続的強化学習とは、最高のエージェントが決して学習をやめない状態を指す。
エージェントの分析とカタログ化のための新しい数学的言語を通じて「学習をやめることはない」エージェントの概念を定式化する。
論文 参考訳（メタデータ） (2023-07-20T17:28:01Z) - The Learnability of In-Context Learning [16.182561312622315]
そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。
本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。
文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
論文 参考訳（メタデータ） (2023-03-14T13:28:39Z) - A Comprehensive Survey of Continual Learning: Theory, Method and
Application [64.23253420555989]
本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。
連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
論文 参考訳（メタデータ） (2023-01-31T11:34:56Z) - A Domain-Agnostic Approach for Characterization of Lifelong Learning
Systems [128.63953314853327]
「生涯学習」システムには,1)継続的学習,2)伝達と適応,3)拡張性があります。
この一連のメトリクスは、様々な複雑な生涯学習システムの開発に役立てることができることを示す。
論文 参考訳（メタデータ） (2023-01-18T21:58:54Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳（メタデータ） (2022-11-14T19:53:15Z) - Importance Weighted Policy Learning and Adaptation [89.46467771037054]
政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。
このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。
提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
論文 参考訳（メタデータ） (2020-09-10T14:16:58Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳（メタデータ） (2020-07-14T22:04:17Z) - A survey on domain adaptation theory: learning bounds and theoretical
guarantees [17.71634393160982]
この調査の主な目的は、特定の、そして間違いなく最も人気のある、移動学習のサブフィールドにおける最先端の理論的結果の概要を提供することである。
このサブフィールドでは、学習タスクは同じままで、トレーニングとテストデータの間でデータ分布が変化すると仮定される。
本稿では、ドメイン適応問題に関連する既存の結果の最新の記述について述べる。
論文 参考訳（メタデータ） (2020-04-24T16:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。