論文の概要: Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in Multi-Domain Loss Landscapes by Inner-Loop Learning

• arxiv url: http://arxiv.org/abs/2102.13147v1
• Date: Thu, 25 Feb 2021 19:54:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 21:57:58.372613
• Title: Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in Multi-Domain Loss Landscapes by Inner-Loop Learning
• Title（参考訳）: メタラーニングによるマルチドメイン学習:インナーループ学習によるマルチドメインロスランドスケープの最適ステップ
• Authors: Anthony Sicilia, Xingchen Zhao, Davneet Minhas, Erin O'Connor, Howard Aizenstein, William Klunk, Dana Tudorascu, Seong Jae Hwang
• Abstract要約: マルチモーダルアプリケーションのためのマルチドメイン学習問題に対するモデル非依存の解法を考える。 我々の手法はモデルに依存しないため、追加のモデルパラメータやネットワークアーキテクチャの変更は不要である。 特に、ホワイトマター高輝度の自動セグメンテーションにおける医療画像のフィッティング問題に対するソリューションを実証します。
• 参考スコア（独自算出の注目度）: 5.490618192331097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a model-agnostic solution to the problem of Multi-Domain Learning (MDL) for multi-modal applications. Many existing MDL techniques are model-dependent solutions which explicitly require nontrivial architectural changes to construct domain-specific modules. Thus, properly applying these MDL techniques for new problems with well-established models, e.g. U-Net for semantic segmentation, may demand various low-level implementation efforts. In this paper, given emerging multi-modal data (e.g., various structural neuroimaging modalities), we aim to enable MDL purely algorithmically so that widely used neural networks can trivially achieve MDL in a model-independent manner. To this end, we consider a weighted loss function and extend it to an effective procedure by employing techniques from the recently active area of learning-to-learn (meta-learning). Specifically, we take inner-loop gradient steps to dynamically estimate posterior distributions over the hyperparameters of our loss function. Thus, our method is model-agnostic, requiring no additional model parameters and no network architecture changes; instead, only a few efficient algorithmic modifications are needed to improve performance in MDL. We demonstrate our solution to a fitting problem in medical imaging, specifically, in the automatic segmentation of white matter hyperintensity (WMH). We look at two neuroimaging modalities (T1-MR and FLAIR) with complementary information fitting for our problem.
• Abstract（参考訳）: マルチモーダルアプリケーションに対するMDL(Multi-Domain Learning)問題に対するモデルに依存しない解決策を検討する。 多くの既存のMDL技術は、ドメイン固有のモジュールを構築するために非自明なアーキテクチャ変更を明示的に必要とするモデル依存のソリューションである。 したがって、これらのMDL技術を十分に確立されたモデルで新しい問題に適切に適用する。 セマンティックセグメンテーションのためのu-netは、様々な低レベルの実装を要求できる。 本稿では, 新たなマルチモーダルデータ(例えば, 様々な構造的ニューロイメージング・モダリティ)を考えると, MDLを純粋にアルゴリズム的に実現し, 広く利用されているニューラルネットワークがモデルに依存しない方法で自明にMDLを実現することを目的としている。 そこで本研究では,近年の学習・学習分野(メタラーニング)のテクニックを用いて,重み付き損失関数を効果的に拡張する手法を提案する。 具体的には、損失関数のハイパーパラメータ上の後方分布を動的に推定するためにインナーループ勾配ステップを取る。 したがって,本手法はモデルに依存しないため,追加のモデルパラメータやネットワークアーキテクチャの変更は不要である。 特に、ホワイトマター高輝度(WMH)の自動セグメンテーションでは、医療画像のフィッティング問題に対するソリューションを実証しています。 我々は2つの神経イメージングモード(T1-MRとFLAIR)を検討し、私たちの問題に相補的な情報を提供します。

関連論文リスト

• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
  非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。 このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2024-08-26T17:50:47Z)
• HyperMM : Robust Multimodal Learning with Varying-sized Inputs [4.377889826841039]
  HyperMMは、さまざまなサイズの入力で学習するために設計されたエンドツーエンドフレームワークである。 本稿では,条件付きハイパーネットワークを用いたユニバーサル特徴抽出器のトレーニング手法を提案する。 アルツハイマー病の診断と乳癌の分類の2つの課題において,本手法の利点を実験的に実証した。
  論文  参考訳（メタデータ） (2024-07-30T12:13:18Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• DynaMMo: Dynamic Model Merging for Efficient Class Incremental Learning for Medical Images [0.8213829427624407]
  継続学習は、学習した情報を保持しながら新しいデータから知識を得る能力であり、機械学習における根本的な課題である。 本研究では,モデル学習の異なる段階で複数のネットワークをマージし,より優れた計算効率を実現するDynaMMOを提案する。 我々はDynaMMoを3つの公開データセット上で評価し、既存のアプローチと比較してその効果を実証した。
  論文  参考訳（メタデータ） (2024-04-22T11:37:35Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
  完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。 LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。 我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-05-01T23:20:27Z)
• FAS-UNet: A Novel FAS-driven Unet to Learn Variational Image Segmentation [3.741136641573471]
  本稿では,そのモデルとアルゴリズムを利用してマルチスケールの特徴を抽出する新しい変動モデルインフォームドネットワーク(FAS-Unet)を提案する。 提案するネットワークは,画像データと数理モデルを統合し,いくつかの畳み込みカーネルを学習して実装する。 実験結果から,提案するFAS-Unetは,定性的,定量的,モデル複雑度評価において,他の最先端手法と非常に競合することが示された。
  論文  参考訳（メタデータ） (2022-10-27T04:15:16Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。