論文の概要: Universal Online Learning with Bounded Loss: Reduction to Binary
Classification
- arxiv url: http://arxiv.org/abs/2112.14638v1
- Date: Wed, 29 Dec 2021 16:38:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-30 14:43:58.861895
- Title: Universal Online Learning with Bounded Loss: Reduction to Binary
Classification
- Title（参考訳）: 境界損失を考慮したユニバーサルオンライン学習:バイナリ分類の削減
- Authors: Mo\"ise Blanchard and Romain Cosson
- Abstract要約: オンライン学習の文脈における非i.d.プロセスの普遍的一貫性について研究する。
ユニバーサルオンライン学習を認めるプロセスのクラスは、可算数のクラスを持つマルチクラス分類の場合と同じであることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study universal consistency of non-i.i.d. processes in the context of
online learning. A stochastic process is said to admit universal consistency if
there exists a learner that achieves vanishing average loss for any measurable
response function on this process. When the loss function is unbounded,
Blanchard et al. showed that the only processes admitting strong universal
consistency are those taking a finite number of values almost surely. However,
when the loss function is bounded, the class of processes admitting strong
universal consistency is much richer and its characterization could be
dependent on the response setting (Hanneke). In this paper, we show that this
class of processes is independent from the response setting thereby closing an
open question (Hanneke, Open Problem 3). Specifically, we show that the class
of processes that admit universal online learning is the same for binary
classification as for multiclass classification with countable number of
classes. Consequently, any output setting with bounded loss can be reduced to
binary classification. Our reduction is constructive and practical. Indeed, we
show that the nearest neighbor algorithm is transported by our construction.
For binary classification on a process admitting strong universal learning, we
prove that nearest neighbor successfully learns at least all finite unions of
intervals.
- Abstract（参考訳）: オンライン学習の文脈における非i.d.プロセスの普遍的一貫性について研究する。
確率過程は、この過程における計測可能な応答関数に対する消失平均損失を達成する学習者が存在する場合、普遍的一貫性を認めると言われる。
損失関数がアンバウンドであるとき、ブランチャードらは強普遍的一貫性を認める唯一のプロセスは有限個の値を取るプロセスであることを示した。
しかし、損失関数が有界であれば、強い普遍整合性を持つプロセスのクラスはよりリッチになり、その特性は応答設定に依存する(Hanneke)。
本稿では,このプロセスが応答設定から独立してオープンな質問を閉じることを示す(Hanneke, Open Problem 3)。
具体的には,普遍的なオンライン学習を許可する過程のクラスが,可算個のクラスを持つ多クラス分類の場合と同じであることを示す。
これにより、有界損失を持つ出力設定をバイナリ分類に還元することができる。
私たちの削減は建設的で実践的です。
実際、最も近い隣のアルゴリズムは我々の構築によって輸送されることを示す。
強普遍学習を認めるプロセス上の二進分類では、最寄りの近傍が少なくともすべての区間の有限和をうまく学習できることが証明される。
関連論文リスト
- Harnessing Superclasses for Learning from Hierarchical Databases [1.835004446596942]
多くの大規模分類問題において、クラスは既知の階層に整理され、通常木として表される。
この種の教師付き階層分類の損失について紹介する。
提案手法では,クロスエントロピーの損失に比較して,計算コストの大幅な増大は伴わない。
論文 参考訳（メタデータ） (2024-11-25T14:39:52Z) - Bisimulation Learning [55.859538562698496]
我々は、大きな、潜在的に無限の状態空間を持つ状態遷移系の有限バイシミュレートを計算する。
提案手法は,実際に行われている他の最先端ツールよりも高速な検証結果が得られる。
論文 参考訳（メタデータ） (2024-05-24T17:11:27Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳（メタデータ） (2024-02-06T15:45:27Z) - Class-Incremental Learning: A Survey [84.30083092434938]
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。
CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。
ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳（メタデータ） (2023-02-07T17:59:05Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳（メタデータ） (2022-03-25T05:36:26Z) - Universal Regression with Adversarial Responses [26.308541799686505]
非I.d.インスタンスシーケンスの大規模クラスの下で、逆応答を伴う回帰のためのアルゴリズムを提供する。
我々は,学習者の強い一貫性を求める普遍的な一貫性を,値応答の制限なしに検討する。
論文 参考訳（メタデータ） (2022-03-09T22:10:30Z) - Universal Online Learning with Unbounded Losses: Memory Is All You Need [10.839359285994636]
与えられた学習規則は、長期平均損失が低い場合、楽観的に普遍的であると言われる。
ハンケは、すべての無境界損失に対して、普遍的な学習を認める過程の族が、正確には有限個の異なる値を持つものであるかどうかというオープンな問題として提起された。
結果として、これは非有界な損失に対して楽観的に普遍的な学習規則を劇的にシンプルに定式化する。
論文 参考訳（メタデータ） (2022-01-21T22:03:18Z) - Universal Online Learning: an Optimistically Universal Learning Rule [0.0]
本研究では,非i.d.プロセスを用いたユニバーサルオンライン学習の課題について検討する。
k-nearest neighbor algorithm (kNN) は楽観的に普遍的ではなく, 1NN の新たな変種を示す。
論文 参考訳（メタデータ） (2022-01-16T02:13:47Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Multi-Class Classification from Single-Class Data with Confidences [90.48669386745361]
本稿では,損失/モデル/最適化非依存のリスク最小化フレームワークを提案する。
提案手法は, 与えられた信頼度が高ノイズであっても, 簡易な修正でベイズ整合性を示す。
論文 参考訳（メタデータ） (2021-06-16T15:38:13Z) - Affinity-Based Hierarchical Learning of Dependent Concepts for Human
Activity Recognition [6.187780920448871]
重なり合うクラスを階層化することで、分類性能が大幅に向上することを示す。
これは、SHLデータセットに特徴付けられるアクティビティ認識タスクの場合、特に当てはまります。
学習プロセスの最適階層を決定するために,クラス間の移動親和性に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2021-04-11T01:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。