論文の概要: Disentangling Transfer and Interference in Multi-Domain Learning

• arxiv url: http://arxiv.org/abs/2107.05445v1
• Date: Fri, 2 Jul 2021 01:30:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-18 12:26:13.762015
• Title: Disentangling Transfer and Interference in Multi-Domain Learning
• Title（参考訳）: マルチドメイン学習における距離移動と干渉
• Authors: Yipeng Zhang, Tyler L. Hayes, Christopher Kanan
• Abstract要約: マルチドメイン学習において,干渉や知識伝達が発生する状況について検討する。 干渉と転送を分離する新しいメトリクスを提案し、実験プロトコルをセットアップする。 我々は、CIFAR-100、MiniPlaces、Tiny-ImageNetデータセットでこの結果を示す。
• 参考スコア（独自算出の注目度）: 53.34444188552444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans are incredibly good at transferring knowledge from one domain to another, enabling rapid learning of new tasks. Likewise, transfer learning has enabled enormous success in many computer vision problems using pretraining. However, the benefits of transfer in multi-domain learning, where a network learns multiple tasks defined by different datasets, has not been adequately studied. Learning multiple domains could be beneficial or these domains could interfere with each other given limited network capacity. In this work, we decipher the conditions where interference and knowledge transfer occur in multi-domain learning. We propose new metrics disentangling interference and transfer and set up experimental protocols. We further examine the roles of network capacity, task grouping, and dynamic loss weighting in reducing interference and facilitating transfer. We demonstrate our findings on the CIFAR-100, MiniPlaces, and Tiny-ImageNet datasets.
• Abstract（参考訳）: 人間は、あるドメインから別のドメインに知識を移すことがとても得意で、新しいタスクを素早く学習できます。 同様に、転送学習は事前学習を用いた多くのコンピュータビジョン問題において大きな成功を収めた。 しかし、ネットワークが異なるデータセットで定義された複数のタスクを学習するマルチドメイン学習における転送の利点は十分に研究されていない。 複数のドメインを学ぶことは有益か、あるいはネットワーク容量が限られているため、ドメイン同士が干渉する可能性がある。 本研究では,マルチドメイン学習において,干渉や知識伝達が発生する条件を解明する。 干渉と転送を分離する新しいメトリクスを提案し、実験プロトコルをセットアップする。 さらに,ネットワークキャパシティ,タスクグループ化,動的損失重み付けが干渉の軽減と伝達の促進に果たす役割について検討する。 我々は、CIFAR-100、MiniPlaces、Tiny-ImageNetデータセットでこの結果を示す。

関連論文リスト

• Direct Distillation between Different Domains [97.39470334253163]
  異なるドメイン間の直接蒸留(4Ds)と呼ばれる新しいワンステージ手法を提案する。 まず、Fourier変換に基づいて学習可能なアダプタを設計し、ドメイン固有の知識からドメイン不変知識を分離する。 次に、価値あるドメイン不変知識を学生ネットワークに転送するための融合活性化機構を構築する。
  論文  参考訳（メタデータ） (2024-01-12T02:48:51Z)
• A Framework for Few-Shot Policy Transfer through Observation Mapping and Behavior Cloning [6.048526012097133]
  本研究は,2つの領域間のFew-Shot Policy Transferを観察マッピングと振舞いのクローンによって実現するためのフレームワークを提案する。 我々は、GAN(Generative Adversarial Networks)とサイクル整合性損失を用いて、ソースとターゲットドメイン間の観測をマッピングし、その後、この学習されたマッピングを使用して、成功したソースタスクの動作ポリシーをターゲットドメインにクローンする。
  論文  参考訳（メタデータ） (2023-10-13T03:15:42Z)
• Learn what matters: cross-domain imitation learning with task-relevant embeddings [77.34726150561087]
  自律エージェントが、異なる環境や異なるエージェントなど、異なる領域のデモンストレーションからタスクを実行することを学習する方法について検討する。 我々は、追加のデモンストレーションやさらなるドメイン知識にアクセスすることなく、クロスドメインの模倣学習を可能にするスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-24T21:56:58Z)
• Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types [50.1843146606122]
  現在の最新のコンピュータビジョンモデルでは、簡単な転送学習が一般的です。 転校学習に関するこれまでの体系的な研究は限られており、作業が期待される状況は十分に理解されていない。 本論文では,非常に異なる画像領域にまたがる転送学習の広範な実験的研究を行う。
  論文  参考訳（メタデータ） (2021-03-24T16:24:20Z)
• Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
  我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。 私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。 提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
  論文  参考訳（メタデータ） (2020-09-24T15:40:55Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Limits of Transfer Learning [0.0]
  我々は、転送する情報の集合を慎重に選択する必要性と、転送される情報とターゲット問題との依存関係の必要性を示す。 これらの結果は、機械学習のためのアルゴリズム検索フレームワークの上に構築され、転送を用いた幅広い学習問題に適用できる。
  論文  参考訳（メタデータ） (2020-06-23T01:48:23Z)
• Mutual Information Based Knowledge Transfer Under State-Action Dimension Mismatch [14.334987432342707]
  本研究では,教師と生徒が任意に状態空間と行動空間を共有できるトランスファー学習の枠組みを提案する。 このミスマッチに対処するため,教師の方針や価値ネットワークから知識を体系的に抽出できる埋め込みを生成する。 我々は,教師と生徒が異なる状態空間と行動空間を持つ状況下で,伝達学習を成功させることを実証した。
  論文  参考訳（メタデータ） (2020-06-12T09:51:17Z)
• Multitask learning over graphs: An Approach for Distributed, Streaming Machine Learning [46.613346075513206]
  マルチタスク学習は帰納的伝達学習のアプローチである。 近年、分散ストリーミング方式でデータを収集する能力が高まっている。 これは、分散(またはネットワーク化された)システム上でのストリーミングデータから、複数のタスクを共同で学習するための新しい戦略の設計を必要とする。
  論文  参考訳（メタデータ） (2020-01-07T15:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。