論文の概要: Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning

• arxiv url: http://arxiv.org/abs/2103.01495v1
• Date: Tue, 2 Mar 2021 06:30:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:15:11.625136
• Title: Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning
• Title（参考訳）: メタコントラスト学習によるタスク適応ニューラルネットワークの検索
• Authors: Wonyong Jeong, Hayeon Lee, Gun Park, Eunyoung Hyung, Jinheon Baek, Sung Ju Hwang
• Abstract要約: 本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。 データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。 提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
• 参考スコア（独自算出の注目度）: 34.27089256930098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most conventional Neural Architecture Search (NAS) approaches are limited in that they only generate architectures (network topologies) without searching for optimal parameters. While some NAS methods handle this issue by utilizing a supernet trained on a large-scale dataset such as ImageNet, they may be suboptimal if the target tasks are highly dissimilar from the dataset the supernet is trained on. To tackle this issue, we propose a novel neural network retrieval method, which retrieves the most optimal pre-trained network for a given task and constraints (e.g. number of parameters) from a model zoo. We train this framework by meta-learning a cross-modal latent space with contrastive loss, to maximize the similarity between a dataset and a network that obtains high performance on it, and minimize the similarity between an irrelevant dataset-network pair. We validate the efficacy of our method on ten real-world datasets, against existing NAS baselines. The results show that our method instantly retrieves networks that outperforms models obtained with the baselines with significantly fewer training steps to reach the target performance.
• Abstract（参考訳）: 従来のニューラルアーキテクチャサーチ(NAS)アプローチのほとんどは、最適なパラメータを検索せずにアーキテクチャ(ネットワークトポロジ)だけを生成するという点で制限されている。 一部のNASメソッドは、ImageNetのような大規模データセットでトレーニングされたスーパーネットを利用することでこの問題に対処するが、ターゲットタスクがスーパーネットがトレーニングされたデータセットと非常に異なる場合、サブ最適である可能性がある。 そこで本研究では,与えられたタスクや制約に対して最適な事前学習ネットワークを求めるニューラルネットワーク探索手法を提案する。 モデル動物園からのパラメータの数)。 コントラスト損失を伴うクロスモーダル潜在空間をメタラーニングし、ハイパフォーマンスを得るデータセットとネットワークの類似性を最大化し、無関係なデータセット-ネットワークペア間の類似性を最小化することにより、このフレームワークをトレーニングする。 提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。 その結果,本手法は,目標性能に達するためのトレーニングステップが大幅に少ないベースラインで得られたモデルを上回るネットワークを瞬時に検索する。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation [24.44521525130034]
  我々は,CNNの品質を定量化するために,RWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入する。 RWEは最後の層のみをトレーニングし、残りの層をランダムに重み付けする。 提案手法は,2つの実世界の探索空間における最先端性能を持つ効率的なモデルの集合を求める。
  論文  参考訳（メタデータ） (2021-10-08T06:35:20Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Neural Architecture Transfer [20.86857986471351]
  既存のアプローチでは、ハードウェアまたは目的のデプロイメント仕様の完全な検索が1つ必要である。 この制限を克服するために、ニューラルネットワーク転送(NAT)を提案する。 NATは、複数の競合する目標の下で競合するタスク固有のカスタムモデルを効率的に生成するように設計されている。
  論文  参考訳（メタデータ） (2020-05-12T15:30:36Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。