論文の概要: Universal Online Learning: an Optimistically Universal Learning Rule
- arxiv url: http://arxiv.org/abs/2201.05947v1
- Date: Sun, 16 Jan 2022 02:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-19 14:03:03.436059
- Title: Universal Online Learning: an Optimistically Universal Learning Rule
- Title(参考訳): ユニバーサルオンライン学習:楽観的に普遍的な学習ルール
- Authors: Mo\"ise Blanchard
- Abstract要約: 本研究では,非i.d.プロセスを用いたユニバーサルオンライン学習の課題について検討する。
k-nearest neighbor algorithm (kNN) は楽観的に普遍的ではなく, 1NN の新たな変種を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the subject of universal online learning with non-i.i.d. processes
for bounded losses. The notion of an universally consistent learning was
defined by Hanneke in an effort to study learning theory under minimal
assumptions, where the objective is to obtain low long-run average loss for any
target function. We are interested in characterizing processes for which
learning is possible and whether there exist learning rules guaranteed to be
universally consistent given the only assumption that such learning is
possible. The case of unbounded losses is very restrictive, since the learnable
processes almost surely visit a finite number of points and as a result, simple
memorization is optimistically universal. We focus on the bounded setting and
give a complete characterization of the processes admitting strong and weak
universal learning. We further show that k-nearest neighbor algorithm (kNN) is
not optimistically universal and present a novel variant of 1NN which is
optimistically universal for general input and value spaces in both strong and
weak setting. This closes all COLT 2021 open problems posed by Hanneke on
universal online learning.
- Abstract(参考訳): 本研究では,非i.d.プロセスを用いたユニバーサルオンライン学習の課題について検討する。
普遍的に一貫した学習の概念は、最小限の仮定の下で学習理論を研究するためにハンネケによって定義された。
我々は、学習が可能なプロセスと、そのような学習が可能な唯一の前提から、普遍的に一貫性のある学習ルールが存在するかどうかを特徴付けることに興味を持っている。
学習可能な過程は、ほぼ確実に有限個の点を訪問し、その結果、単純な記憶は楽観的に普遍的であるからである。
境界設定に注目し,強みと弱みを持つ普遍的学習を認めるプロセスの完全な特徴付けを行う。
さらに,k-nearest neighbor algorithm (knn) は楽観的普遍的ではなく,強い設定と弱い設定の両方において一般入力と値空間に対して楽観的に普遍的な1nnの新しい変種を示す。
これは、hanneke氏がuniversal online learningで提起したすべてのcolt 2021オープン問題を閉じるものだ。
関連論文リスト
- Ticketed Learning-Unlearning Schemes [57.89421552780526]
そこで我々は,学習のためのチケット付きモデルを提案する。
広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
論文 参考訳(メタデータ) (2023-06-27T18:54:40Z) - Adversarial Rewards in Universal Learning for Contextual Bandits [32.14208422566497]
本研究では,学習者の報酬が行動や既知の文脈に依存する状況において,学習の限界について検討する。
対人報酬を伴う文脈的包帯に対する楽観的普遍学習は一般に不可能であることを示す。
論文 参考訳(メタデータ) (2023-02-14T16:54:22Z) - Contextual Bandits and Optimistically Universal Learning [32.14208422566497]
私たちは一貫性に重点を置いています -- 最適な政策に比べて後悔を消します。
非i.d.文脈の大規模クラスでは、時間不変の報酬機構によらず一貫性が達成できることが示される。
論文 参考訳(メタデータ) (2022-12-31T16:15:28Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳(メタデータ) (2022-03-25T05:36:26Z) - Universal Online Learning with Unbounded Losses: Memory Is All You Need [10.839359285994636]
与えられた学習規則は、長期平均損失が低い場合、楽観的に普遍的であると言われる。
ハンケは、すべての無境界損失に対して、普遍的な学習を認める過程の族が、正確には有限個の異なる値を持つものであるかどうかというオープンな問題として提起された。
結果として、これは非有界な損失に対して楽観的に普遍的な学習規則を劇的にシンプルに定式化する。
論文 参考訳(メタデータ) (2022-01-21T22:03:18Z) - Universal Online Learning with Bounded Loss: Reduction to Binary
Classification [0.0]
オンライン学習の文脈における非i.d.プロセスの普遍的一貫性について研究する。
ユニバーサルオンライン学習を認めるプロセスのクラスは、可算数のクラスを持つマルチクラス分類の場合と同じであることを示す。
論文 参考訳(メタデータ) (2021-12-29T16:38:57Z) - Turing-Universal Learners with Optimal Scaling Laws [2.7485183218472016]
我々は,全ての学習アルゴリズムにおいて,最適な分布依存率を実現する「ユニバーサル学習者」アルゴリズムの存在を観察する。
構成そのものは、レヴィンの普遍探索の単純な拡張である(Levin, 1973)
論文 参考訳(メタデータ) (2021-11-09T18:44:35Z) - Constrained Learning with Non-Convex Losses [119.8736858597118]
学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
論文 参考訳(メタデータ) (2021-03-08T23:10:33Z) - Learning Implicitly with Noisy Data in Linear Arithmetic [94.66549436482306]
PAC-セマンティックスにおける暗黙学習を拡張し、線形算術の言語における間隔としきい値の不確実性を扱う。
最適線形プログラミング対象制約の学習に対する我々の暗黙的アプローチは、実際的な明示的アプローチよりも著しく優れていることを示す。
論文 参考訳(メタデータ) (2020-10-23T19:08:46Z) - Tighter Generalization Bounds for Iterative Differentially Private
Learning Algorithms [95.73230376153872]
本稿では,反復学習アルゴリズムにおける一般化とプライバシ保護の関係を2つのステップで検討する。
我々は、$(varepsilon, delta)$-differential privacyは、マルチデータベース学習アルゴリズムに縛られる平均的な一般化を意味することを証明している。
次に,ほとんどの学習アルゴリズムが共有する反復的な性質が,プライバシーの保護とさらなる一般化にどのように影響するかを検討する。
論文 参考訳(メタデータ) (2020-07-18T09:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。