論文の概要: Cross-Domain Few-Shot Learning by Representation Fusion
- arxiv url: http://arxiv.org/abs/2010.06498v2
- Date: Tue, 16 Feb 2021 18:41:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 00:24:27.169927
- Title: Cross-Domain Few-Shot Learning by Representation Fusion
- Title(参考訳): 表現融合によるクロスドメインFew-Shot学習
- Authors: Thomas Adler, Johannes Brandstetter, Michael Widrich, Andreas Mayr,
David Kreil, Michael Kopp, G\"unter Klambauer, Sepp Hochreiter
- Abstract要約: クロスドメインの少数ショット学習は、いくつかの例から学ぶことを目的としている。
本稿では,ヘビアン学習者のアンサンブルによる表現融合を実現する,クロスドメイン・ヘビアン・アンサンブル・ファウショット・ラーニング(CHEF)を提案する。
生物活性分子から環境化学物質,薬物へのドメインシフトを12種類の毒性予測タスクで検討した。
- 参考スコア(独自算出の注目度): 6.906958854232666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order to quickly adapt to new data, few-shot learning aims at learning
from few examples, often by using already acquired knowledge. The new data
often differs from the previously seen data due to a domain shift, that is, a
change of the input-target distribution. While several methods perform well on
small domain shifts like new target classes with similar inputs, larger domain
shifts are still challenging. Large domain shifts may result in high-level
concepts that are not shared between the original and the new domain, whereas
low-level concepts like edges in images might still be shared and useful. For
cross-domain few-shot learning, we suggest representation fusion to unify
different abstraction levels of a deep neural network into one representation.
We propose Cross-domain Hebbian Ensemble Few-shot learning (CHEF), which
achieves representation fusion by an ensemble of Hebbian learners acting on
different layers of a deep neural network. Ablation studies show that
representation fusion is a decisive factor to boost cross-domain few-shot
learning. On the few-shot datasets miniImagenet and tieredImagenet with small
domain shifts, CHEF is competitive with state-of-the-art methods. On
cross-domain few-shot benchmark challenges with larger domain shifts, CHEF
establishes novel state-of-the-art results in all categories. We further apply
CHEF on a real-world cross-domain application in drug discovery. We consider a
domain shift from bioactive molecules to environmental chemicals and drugs with
twelve associated toxicity prediction tasks. On these tasks, that are highly
relevant for computational drug discovery, CHEF significantly outperforms all
its competitors. Github: https://github.com/ml-jku/chef
- Abstract(参考訳): 新しいデータに迅速に適応するために、少数ショット学習は、しばしば既に取得した知識を使用して、少数の例から学習することを目的としている。
新しいデータは、ドメインシフト、すなわち入力ターゲット分布の変化によって、これまで見られたデータとは異なることが多い。
いくつかのメソッドは、同様の入力を持つ新しいターゲットクラスのような小さなドメインシフトでうまく機能するが、より大きなドメインシフトは依然として難しい。
大きなドメインシフトは、元のドメインと新しいドメインの間で共有されないハイレベルな概念をもたらす可能性があるが、画像内のエッジのような低レベルな概念は依然として共有され、有用である。
クロスドメインの少数ショット学習では、ディープニューラルネットワークの異なる抽象レベルを1つの表現に統一する表現融合を提案する。
深層ニューラルネットワークの異なる層に作用するヘビアン学習者のアンサンブルによる表現融合を実現するクロスドメイン・ヘビアン・アンサンブルFew-shot Learning (CHEF)を提案する。
アブレーション研究は、表現融合がクロスドメインの少数ショット学習を促進する決定的な要因であることを示している。
少数のデータセットである miniImagenet と tieredImagenet と小さなドメインシフトでは、CHEF は最先端のメソッドと競合する。
より大きなドメインシフトを伴うドメイン間数ショットベンチマークの課題に対して、CHEFはすべてのカテゴリで新しい最先端の結果を確立している。
さらに、医薬品発見における現実世界のクロスドメイン応用にCHEFを適用した。
生物活性分子から環境化学物質や薬物への12の毒性予測タスクの領域シフトを検討する。
これらのタスクでは、計算薬の発見に非常に関係があるが、CHEFは競合する全てのものよりも大幅に優れている。
github: https://github.com/ml-jku/chef
関連論文リスト
- Exploiting Graph Structured Cross-Domain Representation for Multi-Domain
Recommendation [71.45854187886088]
マルチドメインレコメンデータシステムは、クロスドメイン表現学習とポジティブな知識伝達の恩恵を受ける。
我々はMAGRecと呼ばれる手法のコンテキスト情報として時間的ドメイン内相互作用とドメイン間相互作用を用いる。
我々は、MAGRecが最先端の手法を一貫して上回る様々なシナリオで、公開データセットで実験を行う。
論文 参考訳(メタデータ) (2023-02-12T19:51:32Z) - Meta-DMoE: Adapting to Domain Shift by Meta-Distillation from
Mixture-of-Experts [33.21435044949033]
既存のほとんどのメソッドは、単一のモデルを使って複数のソースドメインでトレーニングを行います。
本稿では,知識蒸留プロセスとして定式化された非教師なし試験時間適応のための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-08T02:28:10Z) - Adversarial Feature Augmentation for Cross-domain Few-shot
Classification [2.68796389443975]
本稿では, ドメインギャップを補うために, 対角的特徴拡張法(AFA)を提案する。
提案手法はプラグイン・アンド・プレイモジュールであり,既存の数発学習手法に容易に組み込むことができる。
論文 参考訳(メタデータ) (2022-08-23T15:10:22Z) - Few-Shot Object Detection in Unseen Domains [4.36080478413575]
Few-shot Object Detection (FSOD)は、データ制限のある新しいオブジェクトクラスを学ぶために近年発展している。
そこで本稿では,ドメイン固有の情報をすべて考慮し,新しいクラスを数枚追加する手法を提案する。
T-LESSデータセットを用いた実験により,提案手法はドメインギャップを著しく緩和することに成功した。
論文 参考訳(メタデータ) (2022-04-11T13:16:41Z) - Deep Subdomain Adaptation Network for Image Classification [32.58984565281493]
ディープサブドメイン適応ネットワーク(DSAN)は、ドメイン固有のレイヤアクティベーションの関連するサブドメイン分布を調整することで、転送ネットワークを学習する。
我々のDSANは非常に単純だが効果的であり、敵の訓練を必要とせず、迅速に収束する。
実験は、オブジェクト認識タスクと桁分類タスクの両方において顕著な結果を示す。
論文 参考訳(メタデータ) (2021-06-17T11:07:21Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳(メタデータ) (2021-05-05T11:55:53Z) - Prototypical Cross-domain Self-supervised Learning for Few-shot
Unsupervised Domain Adaptation [91.58443042554903]
FUDA(Unsupervised Domain Adaptation)のためのPCS(Prototypical Cross-Domain Self-Supervised Learning)フレームワークを提案する。
PCSは、クロスドメインのローレベルな機能アライメントを行うだけでなく、ドメイン間の共有埋め込み空間におけるセマンティック構造をエンコードおよびアライメントする。
最新の手法と比較して、pcsは、fuda上の異なるドメインペアの平均分類精度を10.5%、office、office-home、visda-2017、domainnetで3.5%、9.0%、13.2%改善している。
論文 参考訳(メタデータ) (2021-03-31T02:07:42Z) - Universal Representation Learning from Multiple Domains for Few-shot
Classification [41.821234589075445]
複数の個別に訓練されたネットワークの知識を蒸留し,一組の普遍的な深層表現を学習することを提案する。
より効率的な適応ステップにより、未確認領域に対する普遍表現をさらに洗練できることが示される。
論文 参考訳(メタデータ) (2021-03-25T13:49:12Z) - Extending and Analyzing Self-Supervised Learning Across Domains [50.13326427158233]
近年,自己指導型表現学習が目覚ましい成果を上げている。
実験は主にImageNetや他の同様の大規模なインターネット画像データセット上で行われる。
我々は、前例のない様々なドメインで、いくつかのポピュラーな手法を実験した。
論文 参考訳(メタデータ) (2020-04-24T21:18:02Z) - Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog [70.79442700890843]
本稿では,対象ドメインと各ドメインの関連性を自動的に活用する新しい動的核融合ネットワーク(DF-Net)を提案する。
トレーニングデータが少ないと、平均13.9%の事前最良モデルを上回り、転送可能性を示す。
論文 参考訳(メタデータ) (2020-04-23T08:17:22Z) - Mind the Gap: Enlarging the Domain Gap in Open Set Domain Adaptation [65.38975706997088]
オープンセットドメイン適応(OSDA)は、ターゲットドメインに未知のクラスが存在することを前提としている。
既存の最先端手法は、より大きなドメインギャップが存在する場合、かなりの性能低下を被ることを示す。
我々は、より大きなドメインギャップに特に対処するための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-08T14:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。