論文の概要: Model Composition: Can Multiple Neural Networks Be Combined into a Single Network Using Only Unlabeled Data?

• arxiv url: http://arxiv.org/abs/2110.10369v1
• Date: Wed, 20 Oct 2021 04:17:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 13:55:26.682620
• Title: Model Composition: Can Multiple Neural Networks Be Combined into a Single Network Using Only Unlabeled Data?
• Title（参考訳）: モデル構成: ラベルなしデータのみを用いて、複数のニューラルネットワークを単一のネットワークに組み合わせることができるか?
• Authors: Amin Banitalebi-Dehkordi, Xinyu Kang, and Yong Zhang
• Abstract要約: 本稿では,ラベルなしデータを用いた複数のトレーニングニューラルネットワークの組み合わせについて検討する。 提案手法は, ラベルのないデータから収集した疑似ラベルの生成, フィルタリング, 集約を利用する。 本手法は任意のアーキテクチャとカテゴリを持つ任意の入力モデルの使用をサポートする。
• 参考スコア（独自算出の注目度）: 6.0945220518329855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The diversity of deep learning applications, datasets, and neural network architectures necessitates a careful selection of the architecture and data that match best to a target application. As an attempt to mitigate this dilemma, this paper investigates the idea of combining multiple trained neural networks using unlabeled data. In addition, combining multiple models into one can speed up the inference, result in stronger, more capable models, and allows us to select efficient device-friendly target network architectures. To this end, the proposed method makes use of generation, filtering, and aggregation of reliable pseudo-labels collected from unlabeled data. Our method supports using an arbitrary number of input models with arbitrary architectures and categories. Extensive performance evaluations demonstrated that our method is very effective. For example, for the task of object detection and without using any ground-truth labels, an EfficientDet-D0 trained on Pascal-VOC and an EfficientDet-D1 trained on COCO, can be combined to a RetinaNet-ResNet50 model, with a similar mAP as the supervised training. If fine-tuned in a semi-supervised setting, the combined model achieves +18.6%, +12.6%, and +8.1% mAP improvements over supervised training with 1%, 5%, and 10% of labels.
• Abstract（参考訳）: ディープラーニングアプリケーション、データセット、ニューラルネットワークアーキテクチャの多様性は、ターゲットアプリケーションと最適なアーキテクチャとデータを慎重に選択する必要がある。 このジレンマを緩和しようとする試みとして、ラベルなしのデータを用いて複数のトレーニングされたニューラルネットワークを結合するアイデアを考察する。 さらに、複数のモデルをひとつに組み合わせることで、推論を高速化し、より強力で有能なモデルを実現し、効率的なデバイスフレンドリーなターゲットネットワークアーキテクチャを選択することができます。 そこで,提案手法ではラベルなしデータから収集した信頼できる疑似ラベルの生成,フィルタリング,集約を行う。 本手法は任意のアーキテクチャとカテゴリを持つ任意の数の入力モデルを使用する。 性能評価の結果,本手法は非常に有効であることがわかった。 例えば、オブジェクト検出や接地ラベルを使わずに、pascal-vocで訓練された効率的なdet-d0とcocoで訓練された効率的なdet-d1をretinanet-resnet50モデルと組み合わせることができる。 半教師付きで微調整すると、1%、5%、10%のラベルで教師付きトレーニングよりも+18.6%、+12.6%、+8.1%のマップ改善が得られる。

関連論文リスト

• Automated Label Unification for Multi-Dataset Semantic Segmentation with GNNs [48.406728896785296]
  本稿では,グラフニューラルネットワークを用いて,複数のデータセットにまたがる統一ラベル空間を自動構築する手法を提案する。 従来の手法と異なり,本手法は手動の注釈や分類の調整を必要とせず,シームレスな訓練を容易にする。
  論文  参考訳（メタデータ） (2024-07-15T08:42:10Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• Infinite Recommendation Networks: A Data-Centric Approach [8.044430277912936]
  Neural Tangent Kernelを活用して、無限大のニューラルネットワークをトレーニングし、無限大のボトルネック層を持つオートエンコーダであるinfty$-AEを考案します。 また、小型で高忠実なデータ要約を合成するためのDistill-CFを開発した。 我々は、最初のデータセットサイズの0.1%に満たない完全なデータセット上で、infty$-AEのパフォーマンスの96-105%を観察した。
  論文  参考訳（メタデータ） (2022-06-03T00:34:13Z)
• Multi network InfoMax: A pre-training method involving graph convolutional networks [0.0]
  本稿では,グラフ畳み込み/ニューラルネットワーク(GCN/GNN)を含む事前学習手法を提案する。 学習された高レベルグラフ潜在表現は、下流グラフ分類タスクのパフォーマンス向上に役立つ。 我々は、被験者を健康管理群(HC)と統合失調症群(SZ)に分類するための神経画像データセットに適用した。
  論文  参考訳（メタデータ） (2021-11-01T21:53:20Z)
• Single-stream CNN with Learnable Architecture for Multi-source Remote Sensing Data [16.810239678639288]
  マルチソースリモートセンシングデータ共同分類のための,深層畳み込みニューラルネットワーク(CNN)に基づく効率的なフレームワークを提案する。 提案手法は,最新のCNNモデルを任意のマルチソースリモートセンシングデータセットに理論的に調整することができる。 実験により,提案したシングルストリームCNNの有効性が示された。
  論文  参考訳（メタデータ） (2021-09-13T16:10:41Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Task-Adaptive Neural Network Retrieval with Meta-Contrastive Learning [34.27089256930098]
  本稿では,与えられたタスクに対して最適な事前学習ネットワークを検索するニューラルネットワーク検索手法を提案する。 データセットとネットワークとの類似性を最大化するために、コントラスト損失を伴うクロスモーダルな潜在空間をメタラーニングすることによって、このフレームワークを訓練する。 提案手法の有効性を,既存のNASベースラインに対して10個の実世界のデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-03-02T06:30:51Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。