論文の概要: Universal Online Learning with Unbounded Losses: Memory Is All You Need

• arxiv url: http://arxiv.org/abs/2201.08903v1
• Date: Fri, 21 Jan 2022 22:03:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-25 15:29:20.955587
• Title: Universal Online Learning with Unbounded Losses: Memory Is All You Need
• Title（参考訳）: unbounded lossによるユニバーサルオンライン学習: 必要なのはメモリだけ
• Authors: Moise Blanchard, Romain Cosson, Steve Hanneke
• Abstract要約: 与えられた学習規則は、長期平均損失が低い場合、楽観的に普遍的であると言われる。 ハンケは、すべての無境界損失に対して、普遍的な学習を認める過程の族が、正確には有限個の異なる値を持つものであるかどうかというオープンな問題として提起された。 結果として、これは非有界な損失に対して楽観的に普遍的な学習規則を劇的にシンプルに定式化する。
• 参考スコア（独自算出の注目度）: 10.839359285994636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We resolve an open problem of Hanneke on the subject of universally consistent online learning with non-i.i.d. processes and unbounded losses. The notion of an optimistically universal learning rule was defined by Hanneke in an effort to study learning theory under minimal assumptions. A given learning rule is said to be optimistically universal if it achieves a low long-run average loss whenever the data generating process makes this goal achievable by some learning rule. Hanneke posed as an open problem whether, for every unbounded loss, the family of processes admitting universal learning are precisely those having a finite number of distinct values almost surely. In this paper, we completely resolve this problem, showing that this is indeed the case. As a consequence, this also offers a dramatically simpler formulation of an optimistically universal learning rule for any unbounded loss: namely, the simple memorization rule already suffices. Our proof relies on constructing random measurable partitions of the instance space and could be of independent interest for solving other open questions. We extend the results to the non-realizable setting thereby providing an optimistically universal Bayes consistent learning rule.
• Abstract（参考訳）: 我々は,非i.d.プロセスと非有界損失による普遍的一貫したオンライン学習をテーマとして,ハネケのオープンな問題を解決した。 楽観的に普遍的な学習規則の概念は、最小の仮定の下で学習理論を研究するためにハネケによって定義された。 与えられた学習規則は、データ生成プロセスがこの目標を学習規則によって達成できるようにするたびに、低い長期平均損失を達成すると楽観的に普遍的であると言われる。 ハンネケは、無限学習を認める過程の族が、ほぼ確実に有限個の異なる値を持つかどうかというオープンな問題として提起された。 本稿では,この問題を完全に解決し,それが事実であることを示す。 結果として、これは無界損失に対する楽観的普遍的な学習規則の劇的に単純化された定式化を提供する:すなわち、単純な記憶規則はすでに十分である。 この証明は、インスタンス空間のランダムな測定可能な分割を構築することに依存しており、他のオープン問題を解くために独立した関心を持つ可能性がある。 結果を非実現可能設定に拡張することで、楽観的に普遍的なベイズ一貫した学習ルールを提供する。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• Contextual Bandits and Optimistically Universal Learning [32.14208422566497]
  私たちは一貫性に重点を置いています -- 最適な政策に比べて後悔を消します。 非i.d.文脈の大規模クラスでは、時間不変の報酬機構によらず一貫性が達成できることが示される。
  論文  参考訳（メタデータ） (2022-12-31T16:15:28Z)
• Adversarially Robust Learning: A Generic Minimax Optimal Learner and Characterization [39.51923275855131]
  本研究では,テスト時間における逆例に頑健な予測器の学習問題に対して,最小限の最適学習器を提案する。 特に、強い否定的な意味で、モンタッサー、ハネケ、スレブロによって提案された頑健な学習者の亜最適性を示す。
  論文  参考訳（メタデータ） (2022-09-15T15:32:42Z)
• Universal Regression with Adversarial Responses [26.308541799686505]
  非I.d.インスタンスシーケンスの大規模クラスの下で、逆応答を伴う回帰のためのアルゴリズムを提供する。 我々は,学習者の強い一貫性を求める普遍的な一貫性を,値応答の制限なしに検討する。
  論文  参考訳（メタデータ） (2022-03-09T22:10:30Z)
• Universal Online Learning: an Optimistically Universal Learning Rule [0.0]
  本研究では,非i.d.プロセスを用いたユニバーサルオンライン学習の課題について検討する。 k-nearest neighbor algorithm (kNN) は楽観的に普遍的ではなく, 1NN の新たな変種を示す。
  論文  参考訳（メタデータ） (2022-01-16T02:13:47Z)
• Universal Online Learning with Bounded Loss: Reduction to Binary Classification [0.0]
  オンライン学習の文脈における非i.d.プロセスの普遍的一貫性について研究する。 ユニバーサルオンライン学習を認めるプロセスのクラスは、可算数のクラスを持つマルチクラス分類の場合と同じであることを示す。
  論文  参考訳（メタデータ） (2021-12-29T16:38:57Z)
• Constrained Learning with Non-Convex Losses [119.8736858597118]
  学習は現代の情報処理の中核技術になっているが、バイアス、安全でない、偏見のあるソリューションにつながるという証拠はたくさんある。
  論文  参考訳（メタデータ） (2021-03-08T23:10:33Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Supervised Learning: No Loss No Cry [51.07683542418145]
  教師付き学習は最小化するために損失関数の仕様を必要とする。 本稿では,Kakade et al. (2011)のSLIsotronアルゴリズムを新しいレンズで再検討する。 損失を学習するための原則的な手順をいかに提供するかを示す。
  論文  参考訳（メタデータ） (2020-02-10T05:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。