論文の概要: RotoGBML: Towards Out-of-Distribution Generalization for Gradient-Based Meta-Learning

• arxiv url: http://arxiv.org/abs/2303.06679v1
• Date: Sun, 12 Mar 2023 14:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 17:26:46.879910
• Title: RotoGBML: Towards Out-of-Distribution Generalization for Gradient-Based Meta-Learning
• Title（参考訳）: rotogbml: 勾配型メタラーニングのための分散の一般化に向けて
• Authors: Min Zhang, Zifeng Zhuang, Zhitao Wang, Donglin Wang, Wenbin Li
• Abstract要約: OODタスク勾配を均質化するための新しいアプローチであるRotoGBMLを提案する。 オーバヘッドを低減するため、ネットワークパラメータではなく特徴量で勾配を均質化する。 実験の結果,RotoGBMLは様々な画像分類ベンチマークにおいて,最先端の手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 29.02293819085363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based meta-learning (GBML) algorithms are able to fast adapt to new tasks by transferring the learned meta-knowledge, while assuming that all tasks come from the same distribution (in-distribution, ID). However, in the real world, they often suffer from an out-of-distribution (OOD) generalization problem, where tasks come from different distributions. OOD exacerbates inconsistencies in magnitudes and directions of task gradients, which brings challenges for GBML to optimize the meta-knowledge by minimizing the sum of task gradients in each minibatch. To address this problem, we propose RotoGBML, a novel approach to homogenize OOD task gradients. RotoGBML uses reweighted vectors to dynamically balance diverse magnitudes to a common scale and uses rotation matrixes to rotate conflicting directions close to each other. To reduce overhead, we homogenize gradients with the features rather than the network parameters. On this basis, to avoid the intervention of non-causal features (e.g., backgrounds), we also propose an invariant self-information (ISI) module to extract invariant causal features (e.g., the outlines of objects). Finally, task gradients are homogenized based on these invariant causal features. Experiments show that RotoGBML outperforms other state-of-the-art methods on various few-shot image classification benchmarks.
• Abstract（参考訳）: 勾配に基づくメタ学習(gbml)アルゴリズムは、学習したメタ知識を転送することで、新しいタスクに迅速に適応することができる。 しかし、現実の世界では、それらはしばしば、異なる分布からタスクがくる、アウト・オブ・ディストリビューション(OOD)の一般化問題に悩まされる。 OODはタスク勾配の大きさや方向の不整合を悪化させ、最小限のタスク勾配の和を最小化することにより、GBMLがメタ知識を最適化する上での課題をもたらす。 この問題に対処するために,OODタスク勾配を均質化する新しいアプローチであるRotoGBMLを提案する。 RotoGBMLは、様々な大きさを共通スケールに動的にバランスさせるために重み付けベクターを使用し、回転行列を用いて互いに近くで衝突する方向を回転させる。 オーバーヘッドを減らすために、ネットワークパラメータではなく、特徴と勾配を均質化する。 本研究では,非因果的特徴(例えば背景)の介入を避けるために,不変因果的特徴(例えば,オブジェクトの輪郭)を抽出するための不変自己情報(isi)モジュールを提案する。 最後に、これらの不変因果的特徴に基づいてタスク勾配が均質化される。 実験の結果,RotoGBMLは様々な画像分類ベンチマークにおいて,最先端の手法よりも優れていた。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Bayesian Uncertainty for Gradient Aggregation in Multi-Task Learning [39.4348419684885]
  マルチタスク学習(MTL)は、複数のタスクを効率的に解決する単一のモデルを学習することを目的としている。 ベイジアン推論を用いた新しい勾配集約手法を提案する。 さまざまなデータセットで,アプローチのメリットを実証的に実証しています。
  論文  参考訳（メタデータ） (2024-02-06T14:00:43Z)
• Enhancing Generalization of Universal Adversarial Perturbation through Gradient Aggregation [40.18851174642427]
  深部ニューラルネットワークは普遍的逆境摂動(UAP)に脆弱である 本稿では,一般化の観点から,UAP生成手法の真剣なジレンマについて検討する。 グラディエント・アグリゲーション(SGA)と呼ばれるシンプルで効果的な手法を提案する。 SGAは勾配の消失を緩和し、局所最適度の低下から同時に逃れる。
  論文  参考訳（メタデータ） (2023-08-11T08:44:58Z)
• Direction-oriented Multi-objective Learning: Simple and Provable Stochastic Algorithms [12.776767874217663]
  本稿では,方向近傍の共通降下方向を正規化することにより,新たな方向指向多目的問題を提案する。 マルチタスク型教師付き学習と強化学習の一連の課題において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T16:13:59Z)
• GDOD: Effective Gradient Descent using Orthogonal Decomposition for Multi-Task Learning [19.6824860615578]
  マルチタスク学習(MTL)は、複数のタスクを同時に解決することを目的としている。 MTLモデルは、複数のタスクを同時に学習するため、ネガティブな転送を伴うパフォーマンス劣化に悩まされることが多い。 本稿では,全タスクのスパンから分解ベースを用いて各タスクの勾配を演算する,GDODという新しいアプローチ MTL を提案する。
  論文  参考訳（メタデータ） (2023-01-31T08:08:24Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)
• Contextual Gradient Scaling for Few-Shot Learning [24.19934081878197]
  モデルに依存しないメタラーニング(MAML)のための文脈勾配スケーリング(CxGrad)を提案する。 CxGradは、インナーループにおけるタスク固有の知識の学習を容易にするために、バックボーンの勾配ノルムをスケールする。 実験の結果,CxGradは内ループにおけるタスク固有の知識の学習を効果的に促すことが示された。
  論文  参考訳（メタデータ） (2021-10-20T03:05:58Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。