論文の概要: Online Parameter-Free Learning of Multiple Low Variance Tasks

• arxiv url: http://arxiv.org/abs/2007.05732v1
• Date: Sat, 11 Jul 2020 09:52:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 13:08:01.392665
• Title: Online Parameter-Free Learning of Multiple Low Variance Tasks
• Title（参考訳）: 複数の分散タスクのオンラインパラメータフリー学習
• Authors: Giulia Denevi, Dimitris Stamos, Massimiliano Pontil
• Abstract要約: 低分散タスク列の増大に対して共通のバイアスベクトルを学習する手法を提案する。 我々のアプローチは統計的でない設定で示され、2つの変種から成り立つ。 実験により,本手法の有効性が確認された。
• 参考スコア（独自算出の注目度）: 36.08679456245112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method to learn a common bias vector for a growing sequence of low-variance tasks. Unlike state-of-the-art approaches, our method does not require tuning any hyper-parameter. Our approach is presented in the non-statistical setting and can be of two variants. The "aggressive" one updates the bias after each datapoint, the "lazy" one updates the bias only at the end of each task. We derive an across-tasks regret bound for the method. When compared to state-of-the-art approaches, the aggressive variant returns faster rates, the lazy one recovers standard rates, but with no need of tuning hyper-parameters. We then adapt the methods to the statistical setting: the aggressive variant becomes a multi-task learning method, the lazy one a meta-learning method. Experiments confirm the effectiveness of our methods in practice.
• Abstract（参考訳）: 低分散タスクの成長列に対して,共通のバイアスベクトルを学習する手法を提案する。 最先端のアプローチとは異なり、この手法ではハイパーパラメータのチューニングは不要である。 我々のアプローチは非統計的な設定で示され、2つの変種から成り得る。 aggressive" は各データポイントの後にバイアスを更新し、"lazy" は各タスクの最後にのみバイアスを更新する。 私たちはその方法に対する全タスクの後悔を招きます。 最先端のアプローチと比較して、アグレッシブなバリエーションはより高速なレートを返すが、遅延は標準レートを回復するが、ハイパーパラメータをチューニングする必要はない。 攻撃的変種はマルチタスク学習法となり、遅延的変種はメタ学習法となる。 実験により本手法の有効性を確認した。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Hessian Aware Low-Rank Perturbation for Order-Robust Continual Learning [19.850893012601638]
  連続学習は、前のタスクから得た知識を忘れずに、一連のタスクを逐次学習することを目的としている。 本稿では,Hessian Aware Low-Rank Perturbationアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-26T01:44:01Z)
• MEAL: Stable and Active Learning for Few-Shot Prompting [26.60924937965494]
  ショットの分類は、いくつかのショットの異なるセットと異なる微調整ランの両方に高いばらつきがある。 そこで本研究では,新たなアンサンブル手法を提案し,実行可能性を大幅に低下させることを示す。 第2に、データ選択のための新しいアクティブラーニング(AL)基準を導入し、プロンプトベースラーニングに特化したALベースのアプローチを提示する。
  論文  参考訳（メタデータ） (2022-11-15T18:06:53Z)
• One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning [61.662504399411695]
  より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。 Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
  論文  参考訳（メタデータ） (2021-10-30T08:36:52Z)
• Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
  我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。 本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T16:19:07Z)
• Hyperparameter Transfer Learning with Adaptive Complexity [5.695163312473305]
  ネストされたドロップアウトと自動関連性判定によって複雑性を高める順序付き非線形基底関数の集合を学習する新しいマルチタスクBO法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T12:26:52Z)
• Meta-learning with Stochastic Linear Bandits [120.43000970418939]
  我々は、よく知られたOFULアルゴリズムの正規化バージョンを実装するバンディットアルゴリズムのクラスを考える。 我々は,タスク数の増加とタスク分散の分散が小さくなると,タスクを個別に学習する上で,我々の戦略が大きな優位性を持つことを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2020-05-18T08:41:39Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Statistical Adaptive Stochastic Gradient Methods [34.859895010071234]
  本研究では、勾配法における学習率(ステップサイズ)を自動的にスケジューリングするSALSAと呼ばれる統計的適応手法を提案する。 SALSAはまずスムーズな線探索法を用いて学習率を徐々に増加させ、その後自動的に学習率を低下させる。 本発明の学習率低下方法は、一定のステップサイズを使用すると、ステーションスイッチを検出するための新しい統計テストに基づいている。
  論文  参考訳（メタデータ） (2020-02-25T00:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。