論文の概要: Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in
Multi-Domain Loss Landscapes by Inner-Loop Learning
- arxiv url: http://arxiv.org/abs/2102.13147v1
- Date: Thu, 25 Feb 2021 19:54:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-01 21:57:58.372613
- Title: Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in
Multi-Domain Loss Landscapes by Inner-Loop Learning
- Title(参考訳): メタラーニングによるマルチドメイン学習:インナーループ学習によるマルチドメインロスランドスケープの最適ステップ
- Authors: Anthony Sicilia, Xingchen Zhao, Davneet Minhas, Erin O'Connor, Howard
Aizenstein, William Klunk, Dana Tudorascu, Seong Jae Hwang
- Abstract要約: マルチモーダルアプリケーションのためのマルチドメイン学習問題に対するモデル非依存の解法を考える。
我々の手法はモデルに依存しないため、追加のモデルパラメータやネットワークアーキテクチャの変更は不要である。
特に、ホワイトマター高輝度の自動セグメンテーションにおける医療画像のフィッティング問題に対するソリューションを実証します。
- 参考スコア(独自算出の注目度): 5.490618192331097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider a model-agnostic solution to the problem of Multi-Domain Learning
(MDL) for multi-modal applications. Many existing MDL techniques are
model-dependent solutions which explicitly require nontrivial architectural
changes to construct domain-specific modules. Thus, properly applying these MDL
techniques for new problems with well-established models, e.g. U-Net for
semantic segmentation, may demand various low-level implementation efforts. In
this paper, given emerging multi-modal data (e.g., various structural
neuroimaging modalities), we aim to enable MDL purely algorithmically so that
widely used neural networks can trivially achieve MDL in a model-independent
manner. To this end, we consider a weighted loss function and extend it to an
effective procedure by employing techniques from the recently active area of
learning-to-learn (meta-learning). Specifically, we take inner-loop gradient
steps to dynamically estimate posterior distributions over the hyperparameters
of our loss function. Thus, our method is model-agnostic, requiring no
additional model parameters and no network architecture changes; instead, only
a few efficient algorithmic modifications are needed to improve performance in
MDL. We demonstrate our solution to a fitting problem in medical imaging,
specifically, in the automatic segmentation of white matter hyperintensity
(WMH). We look at two neuroimaging modalities (T1-MR and FLAIR) with
complementary information fitting for our problem.
- Abstract(参考訳): マルチモーダルアプリケーションに対するMDL(Multi-Domain Learning)問題に対するモデルに依存しない解決策を検討する。
多くの既存のMDL技術は、ドメイン固有のモジュールを構築するために非自明なアーキテクチャ変更を明示的に必要とするモデル依存のソリューションである。
したがって、これらのMDL技術を十分に確立されたモデルで新しい問題に適切に適用する。
セマンティックセグメンテーションのためのu-netは、様々な低レベルの実装を要求できる。
本稿では, 新たなマルチモーダルデータ(例えば, 様々な構造的ニューロイメージング・モダリティ)を考えると, MDLを純粋にアルゴリズム的に実現し, 広く利用されているニューラルネットワークがモデルに依存しない方法で自明にMDLを実現することを目的としている。
そこで本研究では,近年の学習・学習分野(メタラーニング)のテクニックを用いて,重み付き損失関数を効果的に拡張する手法を提案する。
具体的には、損失関数のハイパーパラメータ上の後方分布を動的に推定するためにインナーループ勾配ステップを取る。
したがって,本手法はモデルに依存しないため,追加のモデルパラメータやネットワークアーキテクチャの変更は不要である。
特に、ホワイトマター高輝度(WMH)の自動セグメンテーションでは、医療画像のフィッティング問題に対するソリューションを実証しています。
我々は2つの神経イメージングモード(T1-MRとFLAIR)を検討し、私たちの問題に相補的な情報を提供します。
関連論文リスト
- Non-orthogonal Age-Optimal Information Dissemination in Vehicular
Networks: A Meta Multi-Objective Reinforcement Learning Approach [0.0]
道路側ユニット(RSU)は、車両に物理プロセスのセットに関するタイムリーな更新を提供する。
定式化問題は多目的混合整数非線形計画問題である。
我々は,各最適化サブプロブレムを解くために,DQN-Deep Deterministic Policy gradient (DDPG)モデルを開発した。
論文 参考訳(メタデータ) (2024-02-15T16:51:47Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Learning Controllable Adaptive Simulation for Multi-resolution Physics [86.8993558124143]
完全深層学習に基づくサロゲートモデルとして,LAMP(Learning Controllable Adaptive Simulation for Multi- resolution Physics)を導入した。
LAMPは、前方進化を学習するためのグラフニューラルネットワーク(GNN)と、空間的洗練と粗大化のポリシーを学ぶためのGNNベースのアクター批判で構成されている。
我々は,LAMPが最先端のディープラーニングサロゲートモデルより優れており,長期予測誤差を改善するために,適応的なトレードオフ計算が可能であることを実証した。
論文 参考訳(メタデータ) (2023-05-01T23:20:27Z) - DynaGAN: Dynamic Few-shot Adaptation of GANs to Multiple Domains [26.95350186287616]
複数のドメインへのドメイン適応は、いくつかのトレーニングイメージから複数のドメインにまたがる複雑なイメージ分布を学習することを目的としている。
複数のターゲットドメインに対する新規な数ショットドメイン適応法であるDynaGANを提案する。
論文 参考訳(メタデータ) (2022-11-26T12:46:40Z) - FAS-UNet: A Novel FAS-driven Unet to Learn Variational Image
Segmentation [3.741136641573471]
本稿では,そのモデルとアルゴリズムを利用してマルチスケールの特徴を抽出する新しい変動モデルインフォームドネットワーク(FAS-Unet)を提案する。
提案するネットワークは,画像データと数理モデルを統合し,いくつかの畳み込みカーネルを学習して実装する。
実験結果から,提案するFAS-Unetは,定性的,定量的,モデル複雑度評価において,他の最先端手法と非常に競合することが示された。
論文 参考訳(メタデータ) (2022-10-27T04:15:16Z) - Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。
シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
論文 参考訳(メタデータ) (2022-09-15T07:22:58Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Multi-Objective Meta Learning [2.9932638148627104]
統合グラデーションベースのマルチ目的メタラーニング(MOML)フレームワークを提案する。
提案されたMOMLフレームワークの有効性をいくつかのメタラーニング問題で示す。
論文 参考訳(メタデータ) (2021-02-14T10:23:09Z) - Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。
特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
論文 参考訳(メタデータ) (2020-02-18T19:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。