論文の概要: Self-supervised Feature-Gate Coupling for Dynamic Network Pruning

• arxiv url: http://arxiv.org/abs/2111.14302v2
• Date: Fri, 31 May 2024 01:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 02:36:04.593661
• Title: Self-supervised Feature-Gate Coupling for Dynamic Network Pruning
• Title（参考訳）: 動的ネットワーク・プルーニングのための自己教師付き特徴ゲート結合
• Authors: Mengnan Shi, Chang Liu, Jianbin Jiao, Qixiang Ye,
• Abstract要約: 特徴とゲートの分布を整列する特徴ゲート結合(FGC)手法を提案する。 FGCはプラグアンドプレイモジュールであり、反復的な自己管理方式で2つのステップが実行される。 実験結果から,提案手法がベースラインアプローチを著しく改善することを確認した。
• 参考スコア（独自算出の注目度）: 46.14789934991936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gating modules have been widely explored in dynamic network pruning to reduce the run-time computational cost of deep neural networks while preserving the representation of features. Despite the substantial progress, existing methods remain ignoring the consistency between feature and gate distributions, which may lead to distortion of gated features. In this paper, we propose a feature-gate coupling (FGC) approach aiming to align distributions of features and gates. FGC is a plug-and-play module, which consists of two steps carried out in an iterative self-supervised manner. In the first step, FGC utilizes the $k$-Nearest Neighbor method in the feature space to explore instance neighborhood relationships, which are treated as self-supervisory signals. In the second step, FGC exploits contrastive learning to regularize gating modules with generated self-supervisory signals, leading to the alignment of instance neighborhood relationships within the feature and gate spaces. Experimental results validate that the proposed FGC method improves the baseline approach with significant margins, outperforming the state-of-the-arts with better accuracy-computation trade-off. Code is publicly available.
• Abstract（参考訳）: ゲーティングモジュールは、機能表現を維持しながら、ディープニューラルネットワークのリアルタイム計算コストを削減するために、動的ネットワークプルーニングにおいて広く研究されている。 かなりの進歩にもかかわらず、既存の手法は特徴分布とゲート分布の整合性を無視し続けており、ゲート特徴の歪みにつながる可能性がある。 本稿では,特徴とゲートの分布の整合化を目的とした特徴ゲート結合(FGC)手法を提案する。 FGCはプラグ・アンド・プレイモジュールであり、反復的な自己管理方式で2つのステップが実行される。 最初のステップでは、FGCは特徴空間における$k$-Nearest Neighbor法を用いて、自己監督信号として扱われるインスタンス近傍の関係を探索する。 第2のステップでは、FGCは対照的な学習を利用して、生成した自己超越的な信号でゲーティングモジュールを正規化し、特徴空間とゲート空間内のインスタンス近傍の関係を整列させる。 実験結果から,FGC法は高いマージンでベースライン手法を改良し,精度・計算トレードオフが向上した。 コードは公開されている。

関連論文リスト

• Scalable spectral representations for multi-agent reinforcement learning in network MDPs [13.782868855372774]
  マルチエージェント制御の一般的なモデルであるNetwork Markov Decision Processes (MDPs)は、効率的な学習に重大な課題をもたらす。 まず、ネットワークMDPに対してスケーラブルなスペクトル局所表現を導出し、各エージェントの局所$Q$関数に対するネットワーク線形部分空間を誘導する。 我々は,連続的な状態対応ネットワークMDPのためのスケーラブルなアルゴリズムフレームワークを設計し,アルゴリズムの収束をエンドツーエンドで保証する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:45Z)
• Fourier Test-time Adaptation with Multi-level Consistency for Robust Classification [10.291631977766672]
  本稿では,Fourier Test-Time Adaptation (FTTA) と呼ばれる新しい手法を提案する。 FTTAは、予測の自己監督を行うために、ペア入力の信頼性の高い多レベル整合性測定を構築する。 異なる形態と器官を持つ3つの大きな分類データセットで広範囲に検証された。
  論文  参考訳（メタデータ） (2023-06-05T02:29:38Z)
• Boundary-semantic collaborative guidance network with dual-stream feedback mechanism for salient object detection in optical remote sensing imagery [22.21644705244091]
  二重ストリームフィードバック機構を備えた境界意味協調誘導ネットワーク(BSCGNet)を提案する。 BSCGNetは、近年提案されている17の最先端(SOTA)アプローチよりも優れた、挑戦的なシナリオにおいて、明確なアドバンテージを示している。
  論文  参考訳（メタデータ） (2023-03-06T03:36:06Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Self-Guided Adaptation: Progressive Representation Alignment for Domain Adaptive Object Detection [86.69077525494106]
  非教師なしドメイン適応(UDA)は、オブジェクト検出モデルのドメイン間ロバスト性を改善するために前例のない成功を収めた。 既存のUDA手法は、モデル学習中の瞬間的なデータ分布を無視しており、大きなドメインシフトによって特徴表現が劣化する可能性がある。 本稿では、特徴表現の整合とドメイン間のオブジェクト検出モデルの転送を目標とする自己ガイド適応モデルを提案する。
  論文  参考訳（メタデータ） (2020-03-19T13:30:45Z)
• Contradictory Structure Learning for Semi-supervised Domain Adaptation [67.89665267469053]
  現在の逆順応法は、クロスドメインの特徴を整列させようとする。 1)条件分布ミスマッチ、2)決定境界のソース領域へのバイアス。 本稿では,対向構造の学習を統一することで,半教師付きドメイン適応のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-06T22:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。