論文の概要: Is Meta-training Really Necessary for Molecular Few-Shot Learning ?
- arxiv url: http://arxiv.org/abs/2404.02314v1
- Date: Tue, 2 Apr 2024 21:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 19:19:01.525076
- Title: Is Meta-training Really Necessary for Molecular Few-Shot Learning ?
- Title(参考訳): メタトレーニングは分子足取り学習にとって本当に必要か?
- Authors: Philippe Formont, Hugo Jeannin, Pablo Piantanida, Ismail Ben Ayed,
- Abstract要約: わずかながらの学習は、薬物発見に大きな関心を惹きつけており、近年急速に成長している文献は、主に複雑なメタラーニング戦略を含んでいる。
分子データに対するより簡単な微調整手法を再検討し、マハラノビス距離に基づく正規化二次プローブ損失を提案する。
- 参考スコア(独自算出の注目度): 35.04633148104297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-shot learning has recently attracted significant interest in drug discovery, with a recent, fast-growing literature mostly involving convoluted meta-learning strategies. We revisit the more straightforward fine-tuning approach for molecular data, and propose a regularized quadratic-probe loss based on the the Mahalanobis distance. We design a dedicated block-coordinate descent optimizer, which avoid the degenerate solutions of our loss. Interestingly, our simple fine-tuning approach achieves highly competitive performances in comparison to state-of-the-art methods, while being applicable to black-box settings and removing the need for specific episodic pre-training strategies. Furthermore, we introduce a new benchmark to assess the robustness of the competing methods to domain shifts. In this setting, our fine-tuning baseline obtains consistently better results than meta-learning methods.
- Abstract(参考訳): ほとんどショットラーニングは近年、薬物発見に大きな関心を惹きつけており、近年急速に成長している文献は、主に複雑なメタラーニング戦略を含んでいる。
分子データに対するより簡単な微調整手法を再検討し、マハラノビス距離に基づく正規化二次プローブ損失を提案する。
我々は、損失の退化を回避できる専用ブロック座標降下最適化器を設計する。
興味深いことに、我々の単純な微調整アプローチは、最先端の手法と比較して高い競争力を発揮する一方で、ブラックボックスの設定にも適用でき、特定のエピソード事前学習戦略の必要性を排除できる。
さらに、競合する手法のドメインシフトに対する堅牢性を評価するための新しいベンチマークを導入する。
この設定では、微調整ベースラインはメタ学習法よりも一貫して良い結果が得られる。
関連論文リスト
- Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。
埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。
ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
論文 参考訳(メタデータ) (2024-07-03T13:44:20Z) - Meta-tuning Loss Functions and Data Augmentation for Few-shot Object
Detection [7.262048441360132]
少ないショットのオブジェクト検出は、少数ショットの学習とオブジェクト検出という領域において、新たなトピックである。
本稿では,数発検出を促進できる帰納的バイアスの学習を可能にする訓練手法を提案する。
提案手法は,高パラメトリックかつ複雑な数ショットメタモデルとは対照的に,解釈可能な損失関数を生成する。
論文 参考訳(メタデータ) (2023-04-24T15:14:16Z) - Demystifying Unsupervised Semantic Correspondence Estimation [13.060538447838303]
教師なし学習のレンズによる意味対応推定について検討する。
我々は、最近提案された複数の課題データセットにまたがる教師なしの手法を徹底的に評価した。
本稿では,事前学習した特徴の強さを活かし,トレーニング中のより優れた試合を奨励する,新しい教師なし対応手法を提案する。
論文 参考訳(メタデータ) (2022-07-11T17:59:51Z) - Imitating, Fast and Slow: Robust learning from demonstrations via
decision-time planning [96.72185761508668]
テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。
IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-07T17:16:52Z) - AlterSGD: Finding Flat Minima for Continual Learning by Alternative
Training [11.521519687645428]
本稿では,損失景観における平らな最小値を求めるために,AlterSGDと呼ばれるシンプルで効果的な最適化手法を提案する。
このような戦略は、最適化が平坦なミニマに収束することを促進できることを示す。
セマンティックセグメンテーションのための連続学習ベンチマーク上でAlterSGDを検証し、実験結果から、忘れを著しく軽減できることを示す。
論文 参考訳(メタデータ) (2021-07-13T01:43:51Z) - Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。
本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
論文 参考訳(メタデータ) (2021-04-30T16:19:07Z) - Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
半教師付き学習における簡単なメタ学習アルゴリズムを提案する。
その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2020-07-08T08:48:56Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z) - Multi-step Estimation for Gradient-based Meta-learning [3.4376560669160385]
内部ステップの窓において,同じ勾配を再利用してコストを削減できる簡易かつ簡単な手法を提案する。
本手法は,トレーニング時間やメモリ使用量を大幅に削減し,競争精度を維持したり,場合によっては性能が向上することを示す。
論文 参考訳(メタデータ) (2020-06-08T00:37:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。