論文の概要: A Distribution-Dependent Analysis of Meta-Learning

• arxiv url: http://arxiv.org/abs/2011.00344v3
• Date: Mon, 14 Jun 2021 03:38:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 04:29:49.332972
• Title: A Distribution-Dependent Analysis of Meta-Learning
• Title（参考訳）: メタラーニングの分布依存分析
• Authors: Mikhail Konobeev, Ilja Kuzborskij, Csaba Szepesv\'ari
• Abstract要約: メタラーニング理論の鍵となる問題は、タスク分布が伝達リスクにどのように影響するかを理解することである。 本稿では,任意のアルゴリズムの転送リスクに対して,分布依存性の低い境界を与える。 バイアス付き正規化回帰法(英語版)と呼ばれる新しい重み付きバージョンは、これらの下界を固定定数係数に一致させることができることを示す。
• 参考スコア（独自算出の注目度）: 13.24264919706183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key problem in the theory of meta-learning is to understand how the task distributions influence transfer risk, the expected error of a meta-learner on a new task drawn from the unknown task distribution. In this paper, focusing on fixed design linear regression with Gaussian noise and a Gaussian task (or parameter) distribution, we give distribution-dependent lower bounds on the transfer risk of any algorithm, while we also show that a novel, weighted version of the so-called biased regularized regression method is able to match these lower bounds up to a fixed constant factor. Notably, the weighting is derived from the covariance of the Gaussian task distribution. Altogether, our results provide a precise characterization of the difficulty of meta-learning in this Gaussian setting. While this problem setting may appear simple, we show that it is rich enough to unify the "parameter sharing" and "representation learning" streams of meta-learning; in particular, representation learning is obtained as the special case when the covariance matrix of the task distribution is unknown. For this case we propose to adopt the EM method, which is shown to enjoy efficient updates in our case. The paper is completed by an empirical study of EM. In particular, our experimental results show that the EM algorithm can attain the lower bound as the number of tasks grows, while the algorithm is also successful in competing with its alternatives when used in a representation learning context.
• Abstract（参考訳）: メタラーニング理論における鍵となる問題は、タスク分布が、未知のタスク分布から引き出された新しいタスクに対するメタリーナーの期待誤差、伝達リスクにどのように影響するかを理解することである。 本稿では,gaussian noise と gaussian task (またはパラメータ) 分布を持つ固定設計線形回帰に着目し,任意のアルゴリズムの伝達リスクの分布依存下限を与えるとともに,バイアス付き正則回帰法(biased regularized regression method)の新たな重み付きバージョンが,これらの下限を固定定数までマッチングできることを示す。 特に、重み付けはガウスのタスク分布の共分散に由来する。 以上から,このガウス環境におけるメタラーニングの難しさを詳細に把握した。 本稿では,メタラーニングの「パラメータ共有」と「表現学習」のストリームを統一するのに十分であることを示すが,特に,タスク分布の共分散行列が未知の場合には,表現学習が特別の場合として得られる。 本稿では,効率的な更新を行うEM法を提案する。 論文はEMの実証研究によって完成される。 特に, 実験結果から, EMアルゴリズムはタスク数の増加に伴い, 下位境界を達成でき, また, 表現学習の文脈で使用する場合の代替手法との競合にも成功していることがわかった。

関連論文リスト

• Reducing Variance in Meta-Learning via Laplace Approximation for Regression Tasks [23.33263252557512]
  勾配に基づくメタラーニングにおける分散化の問題に対処する。 本稿では,各支持点を個別に重み付けすることで,勾配推定のばらつきを低減する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T12:30:05Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。 課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• Symmetric Q-learning: Reducing Skewness of Bellman Error in Online Reinforcement Learning [55.75959755058356]
  深層強化学習では、状態や行動の質を評価するために、価値関数を推定することが不可欠である。 最近の研究では、値関数を訓練する際の誤差分布はベルマン作用素の特性のためにしばしば歪むことが示唆されている。 そこで我々は,ゼロ平均分布から発生する合成ノイズを目標値に加え,ガウス誤差分布を生成するSymmetric Q-learning法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:49:19Z)
• Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
  本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
  論文  参考訳（メタデータ） (2023-07-17T15:38:11Z)
• Multi-Environment Meta-Learning in Stochastic Linear Bandits [49.387421094105136]
  単一環境ではなく混合分布からタスクパラメータを引き出す場合のメタ学習の可能性を検討する。 我々は,新しいタスクが発する環境の知識を必要とせずに,新しいタスクに対する後悔度を低く抑えるOFULアルゴリズムの正規化バージョンを提案する。
  論文  参考訳（メタデータ） (2022-05-12T19:31:28Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Meta Learning as Bayes Risk Minimization [18.76745359031975]
  確率的フレームワークを使用して、関連する2つのタスクの意味を定式化する。 我々の定式化において、BRM最適解は、文脈データセット上で条件付けられたタスク固有の潜在変数の後方分布から計算された予測分布によって与えられる。 後部分布の近似は、真の後部分布と同じ速度で最大推定値に収束することを示す。
  論文  参考訳（メタデータ） (2020-06-02T09:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。