論文の概要: Perturbing the Gradient for Alleviating Meta Overfitting

• arxiv url: http://arxiv.org/abs/2405.12299v1
• Date: Mon, 20 May 2024 18:04:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 15:07:24.284402
• Title: Perturbing the Gradient for Alleviating Meta Overfitting
• Title（参考訳）: メタオーバーフィッティングを緩和するグラディエントの摂動
• Authors: Manas Gogoi, Sambhavi Tiwari, Shekhar Verma,
• Abstract要約: 本稿では,数ショットの学習環境におけるメタオーバーフィッティングに対処するソリューションを多数提案する。 提案手法は,非相互排他的タスク設定における学習における最先端のベースラインと比較して,一般化性能の向上を実証する。
• 参考スコア（独自算出の注目度）: 6.6157730528755065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The reason for Meta Overfitting can be attributed to two factors: Mutual Non-exclusivity and the Lack of diversity, consequent to which a single global function can fit the support set data of all the meta-training tasks and fail to generalize to new unseen tasks. This issue is evidenced by low error rates on the meta-training tasks, but high error rates on new tasks. However, there can be a number of novel solutions to this problem keeping in mind any of the two objectives to be attained, i.e. to increase diversity in the tasks and to reduce the confidence of the model for some of the tasks. In light of the above, this paper proposes a number of solutions to tackle meta-overfitting on few-shot learning settings, such as few-shot sinusoid regression and few shot classification. Our proposed approaches demonstrate improved generalization performance compared to state-of-the-art baselines for learning in a non-mutually exclusive task setting. Overall, this paper aims to provide insights into tackling overfitting in meta-learning and to advance the field towards more robust and generalizable models.
• Abstract（参考訳）: 相互非排他性と多様性の欠如は、単一のグローバル関数がすべてのメタトレーニングタスクのサポートセットデータセットに適合し、新しい未知のタスクに一般化できないことを意味する。 この問題は、メタトレーニングタスクではエラー率の低いことが証明されているが、新しいタスクではエラー率が高い。 しかしながら、タスクの多様性を高め、いくつかのタスクに対するモデルの信頼性を低下させるという、2つの目標のいずれかを念頭に置いて、この問題に対する新しい解決策が数多く存在する。 そこで本研究では,数ショットの正弦波回帰や数ショットの分類など,数ショットの学習環境におけるメタオーバーフィッティングに対処する手法を提案する。 提案手法は,非相互排他的タスク設定における学習における最先端のベースラインと比較して,一般化性能の向上を実証する。 本論文は,メタラーニングにおけるオーバーフィッティングに対処するための洞察を提供することと,より堅牢で一般化可能なモデルに向けての分野を前進させることを目的としている。

関連論文リスト

• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• Learning to generate imaginary tasks for improving generalization in meta-learning [12.635773307074022]
  既存のベンチマークにおけるメタ学習の成功は、メタトレーニングタスクの分布がメタテストタスクをカバーするという仮定に基づいて予測される。 最近のソリューションではメタトレーニングタスクの強化が追求されているが、正確なタスクと十分な想像上のタスクの両方を生成することは、まだ未解決の問題である。 本稿では,タスクアップサンプリングネットワークを通じてタスク表現からメタ学習タスクをアップサンプリングする手法を提案する。さらに,タスクアップサンプリング(ATU)と呼ばれるアプローチにより,タスクを最大化することで,最新のメタラーナーに最大限貢献できるタスクを生成する。
  論文  参考訳（メタデータ） (2022-06-09T08:21:05Z)
• Set-based Meta-Interpolation for Few-Task Meta-Learning [79.85241791994562]
  そこで本研究では,メタトレーニングタスクの分散化を目的とした,ドメインに依存しないタスク拡張手法Meta-Interpolationを提案する。 様々な領域にまたがる8つのデータセットに対してメタ補間の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2022-05-20T06:53:03Z)
• Conflict-Averse Gradient Descent for Multi-task Learning [56.379937772617]
  マルチタスクモデルを最適化する際の大きな課題は、矛盾する勾配である。 本稿では、平均損失関数を最小化する衝突-逆勾配降下(CAGrad)を導入する。 CAGradは目標を自動的にバランスし、平均損失よりも最小限に確実に収束する。
  論文  参考訳（メタデータ） (2021-10-26T22:03:51Z)
• Meta-Learning with Task-Adaptive Loss Function for Few-Shot Learning [50.59295648948287]
  数ショットの学習シナリオでは、新しい目に見えない例を一般化し、うまく実行するのが課題だ。 各タスクに適応する損失関数を備えた新しいメタ学習フレームワークを導入する。 提案フレームワークはMeta-Learning with Task-Adaptive Loss Function (MeTAL) と名付けられ,様々な領域における有効性と柔軟性を示す。
  論文  参考訳（メタデータ） (2021-10-08T06:07:21Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• Is Support Set Diversity Necessary for Meta-Learning? [14.231486872262531]
  本稿では,タスク間のサポートセットを固定し,タスクの多様性を低減させる,従来のメタ学習手法の修正を提案する。 驚いたことに、この修正は悪影響をもたらすだけでなく、さまざまなデータセットやメタ学習手法のパフォーマンスをほぼ常に向上させる。
  論文  参考訳（メタデータ） (2020-11-28T02:28:42Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。