論文の概要: Learning Compatible Multi-Prize Subnetworks for Asymmetric Retrieval

• arxiv url: http://arxiv.org/abs/2504.11879v1
• Date: Wed, 16 Apr 2025 08:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:39:37.758837
• Title: Learning Compatible Multi-Prize Subnetworks for Asymmetric Retrieval
• Title（参考訳）: 非対称検索のための互換多目的サブネットの学習
• Authors: Yushuai Sun, Zikun Zhou, Dongmei Jiang, Yaowei Wang, Jun Yu, Guangming Lu, Wenjie Pei,
• Abstract要約: 非対称検索は現実世界の検索システムにおいて典型的なシナリオである。 我々は、開発者が任意のキャパシティで互換性のあるワークを生成できる自己互換性のあるPrunable Networkを提案する。
• 参考スコア（独自算出の注目度）: 62.904384887568284
• License:
• Abstract: Asymmetric retrieval is a typical scenario in real-world retrieval systems, where compatible models of varying capacities are deployed on platforms with different resource configurations. Existing methods generally train pre-defined networks or subnetworks with capacities specifically designed for pre-determined platforms, using compatible learning. Nevertheless, these methods suffer from limited flexibility for multi-platform deployment. For example, when introducing a new platform into the retrieval systems, developers have to train an additional model at an appropriate capacity that is compatible with existing models via backward-compatible learning. In this paper, we propose a Prunable Network with self-compatibility, which allows developers to generate compatible subnetworks at any desired capacity through post-training pruning. Thus it allows the creation of a sparse subnetwork matching the resources of the new platform without additional training. Specifically, we optimize both the architecture and weight of subnetworks at different capacities within a dense network in compatible learning. We also design a conflict-aware gradient integration scheme to handle the gradient conflicts between the dense network and subnetworks during compatible learning. Extensive experiments on diverse benchmarks and visual backbones demonstrate the effectiveness of our method. Our code and model are available at https://github.com/Bunny-Black/PrunNet.
• Abstract（参考訳）: 非対称検索は実世界の検索システムにおいて典型的なシナリオであり、様々な能力の互換モデルを異なるリソース構成のプラットフォームに配置する。 既存の手法は通常、互換性のある学習を用いて、事前に定義されたネットワークまたはサブネットワークを、事前に決められたプラットフォーム用に特別に設計された能力で訓練する。 それでもこれらの手法は、マルチプラットフォームデプロイメントの柔軟性が制限されている。 例えば、検索システムに新しいプラットフォームを導入する場合、開発者は後方互換性のある学習を通じて既存のモデルと互換性のある適切なキャパシティで追加モデルをトレーニングする必要がある。 本稿では,自己適合性のあるPrunable Networkを提案する。これにより,学習後プルーニングにより,任意の所望の能力で互換性のあるサブネットを作成できる。 これにより、追加のトレーニングなしで、新しいプラットフォームのリソースにマッチするスパースサブネットワークを作成することができる。 具体的には、互換性のある学習において、高密度ネットワーク内の異なる能力でサブネットワークのアーキテクチャと重量を最適化する。 また、互換性のある学習において、高密度ネットワークとサブネットワーク間の勾配コンフリクトを処理するために、コンフリクト対応勾配統合スキームを設計する。 多様なベンチマークや視覚的バックボーンに関する大規模な実験により,本手法の有効性が示された。 私たちのコードとモデルはhttps://github.com/Bunny-Black/PrunNet.comで公開されています。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Cooperative Learning for Cost-Adaptive Inference [3.301728339780329]
  提案されたフレームワークは、特定のアーキテクチャに縛られないが、既存のモデル/アーキテクチャを組み込むことができる。 モデルのサイズが多様である間、フルネットワークに匹敵する精度を提供する。
  論文  参考訳（メタデータ） (2023-12-13T21:42:27Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Local Learning with Neuron Groups [15.578925277062657]
  局所学習はモデル並列性に対するアプローチであり、標準のエンドツーエンドの学習設定を取り除く。 本研究では,局所学習をレイヤやモジュールをサブコンポーネントに分割する方法について検討する。
  論文  参考訳（メタデータ） (2023-01-18T16:25:10Z)
• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• PRANC: Pseudo RAndom Networks for Compacting deep models [22.793523211040682]
  PRANCはディープモデルの大幅なコンパクト化を可能にする。 本研究では,PRANCを用いて画像分類モデルを構築し,関連する暗黙的ニューラルネットワークをコンパクト化することで画像の圧縮を行う。
  論文  参考訳（メタデータ） (2022-06-16T22:03:35Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。