論文の概要: Duality Diagram Similarity: a generic framework for initialization selection in task transfer learning

• arxiv url: http://arxiv.org/abs/2008.02107v1
• Date: Wed, 5 Aug 2020 13:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 17:46:30.918835
• Title: Duality Diagram Similarity: a generic framework for initialization selection in task transfer learning
• Title（参考訳）: duality diagram similarity:タスク転送学習における初期化選択のための汎用フレームワーク
• Authors: Kshitij Dwivedi, Jiahui Huang, Radoslaw Martin Cichy, Gemma Roig
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)間の双対性図類似性(DDS)に基づく、新しい高効率で正確なアプローチを提案する。 我々は,実際の移動学習成績ランキングと予測ランキングとの対応性を測定することで,タスクノミーデータセットに対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 20.87279811893808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we tackle an open research question in transfer learning, which is selecting a model initialization to achieve high performance on a new task, given several pre-trained models. We propose a new highly efficient and accurate approach based on duality diagram similarity (DDS) between deep neural networks (DNNs). DDS is a generic framework to represent and compare data of different feature dimensions. We validate our approach on the Taskonomy dataset by measuring the correspondence between actual transfer learning performance rankings on 17 taskonomy tasks and predicted rankings. Computing DDS based ranking for $17\times17$ transfers requires less than 2 minutes and shows a high correlation ($0.86$) with actual transfer learning rankings, outperforming state-of-the-art methods by a large margin ($10\%$) on the Taskonomy benchmark. We also demonstrate the robustness of our model selection approach to a new task, namely Pascal VOC semantic segmentation. Additionally, we show that our method can be applied to select the best layer locations within a DNN for transfer learning on 2D, 3D and semantic tasks on NYUv2 and Pascal VOC datasets.
• Abstract（参考訳）: 本稿では,いくつかの事前学習モデルから,新しいタスクにおいて高い性能を達成するためにモデル初期化を選択するトランスファー学習におけるオープンな研究課題に取り組む。 本稿では、ディープニューラルネットワーク(DNN)間の双対性図類似性(DDS)に基づく、高効率で正確なアプローチを提案する。 DDSは、異なる特徴次元のデータを表現し比較するための一般的なフレームワークである。 提案手法は,17課題の実際の伝達学習成績ランキングと予測順位の対応度を測定し,タスクノミーデータセット上でのアプローチを検証する。 DDSベースの17-times17$転送のランキングは2分未満で、実際の転送学習ランキングと高い相関(0.86$)を示し、Taskonomyベンチマークでは、最先端のメソッドよりも大きなマージン(10-%$)高いパフォーマンスを示している。 また、新しいタスク、すなわちPascal VOCセマンティックセマンティックセグメンテーションに対するモデル選択アプローチの堅牢性を示す。 さらに,本手法は,NYUv2およびPascal VOCデータセット上での2D,3D,セマンティックタスクの伝達学習において,DNN内の最良層選択に適用可能であることを示す。

関連論文リスト

• Less is More: Parameter-Efficient Selection of Intermediate Tasks for Transfer Learning [5.119396962985841]
  中間的タスク伝達学習はモデル性能を大幅に向上させることができる。 12kのソース・ターゲット対を用いたNLPタスク転送性とタスク選択に関する最大の研究を行う。 事前の手法でESMを適用すると、それぞれ10と278の因子による実行時間とディスクスペースの使用量が減少する。
  論文  参考訳（メタデータ） (2024-10-19T16:22:04Z)
• Pre-Trained Model Recommendation for Downstream Fine-tuning [22.343011779348682]
  モデル選択は、市販の事前訓練されたモデルをランク付けし、新しいターゲットタスクに最も適したモデルを選択することを目的としている。 既存のモデル選択テクニックはスコープ内で制約されることが多く、モデルとタスク間の微妙な関係を見落としてしまう傾向があります。 我々は,多種多様な大規模モデルリポジトリを探索する実用的フレームワーク textbfFennec を提案する。
  論文  参考訳（メタデータ） (2024-03-11T02:24:32Z)
• Co-guiding for Multi-intent Spoken Language Understanding [53.30511968323911]
  本稿では,2つのタスク間の相互指導を実現するための2段階のフレームワークを実装した,コガイドネットと呼ばれる新しいモデルを提案する。 第1段階では,単一タスクによる教師付きコントラスト学習を提案し,第2段階ではコガイドによる教師付きコントラスト学習を提案する。 マルチインテリジェントSLU実験の結果,我々のモデルは既存のモデルよりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T08:06:22Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Team Cogitat at NeurIPS 2021: Benchmarks for EEG Transfer Learning Competition [55.34407717373643]
  脳波復号のための主題に依存しないディープラーニングモデルの構築は、強い共シフトの課題に直面している。 我々のアプローチは、ディープラーニングモデルの様々な層に特徴分布を明示的に整列させることです。 この方法論は、NeurIPSカンファレンスで開催されている2021年のEEG Transfer Learningコンペティションで優勝した。
  論文  参考訳（メタデータ） (2022-02-01T11:11:08Z)
• Pareto-wise Ranking Classifier for Multi-objective Evolutionary Neural Architecture Search [15.454709248397208]
  本研究は,多様な設計目的の下で実現可能な深層モデルを見つける方法に焦点を当てる。 オンライン分類器を訓練し、候補と構築された参照アーキテクチャとの優位性関係を予測する。 さまざまな目的や制約の下で、2Mから6Mまでの異なるモデルサイズを持つ多数のニューラルアーキテクチャを見つけます。
  論文  参考訳（メタデータ） (2021-09-14T13:28:07Z)
• Learning Invariant Representations across Domains and Tasks [81.30046935430791]
  本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
  論文  参考訳（メタデータ） (2021-03-03T11:18:43Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。