論文の概要: GmNet: Revisiting Gating Mechanisms From A Frequency View

• arxiv url: http://arxiv.org/abs/2503.22841v1
• Date: Fri, 28 Mar 2025 19:26:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:56.812627
• Title: GmNet: Revisiting Gating Mechanisms From A Frequency View
• Title（参考訳）: GmNet:周波数ビューからゲーティングメカニズムを再考
• Authors: Yifan Wang, Xu Ma, Yitian Zhang, Zhongruo Wang, Sung-Cheol Kim, Vahid Mirjalili, Vidya Renganathan, Yun Fu,
• Abstract要約: 本研究では,ゲーティング機構がニューラルネットワークのトレーニング力学に与える影響を周波数の観点から検討した。 本稿では,様々な周波数成分の情報を効率的に活用する軽量モデルを提案する。 GmNetは画像分類タスクの有効性と効率の両面で優れた性能を実現している。
• 参考スコア（独自算出の注目度）: 38.7855775931718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gating mechanisms have emerged as an effective strategy integrated into model designs beyond recurrent neural networks for addressing long-range dependency problems. In a broad understanding, it provides adaptive control over the information flow while maintaining computational efficiency. However, there is a lack of theoretical analysis on how the gating mechanism works in neural networks. In this paper, inspired by the {convolution theorem}, we systematically explore the effect of gating mechanisms on the training dynamics of neural networks from a frequency perspective. We investigate the interact between the element-wise product and activation functions in managing the responses to different frequency components. Leveraging these insights, we propose a Gating Mechanism Network (GmNet), a lightweight model designed to efficiently utilize the information of various frequency components. It minimizes the low-frequency bias present in existing lightweight models. GmNet achieves impressive performance in terms of both effectiveness and efficiency in the image classification task.
• Abstract（参考訳）: ゲーティングメカニズムは、長距離依存問題に対処するためのリカレントニューラルネットワーク以外のモデル設計に統合された効果的な戦略として登場した。 広義の理解では、計算効率を保ちながら情報の流れを適応的に制御する。 しかし、ニューラルネットワークにおけるゲーティング機構の動作に関する理論的分析は不十分である。 本稿では,畳み込み定理に触発されて,周波数から見たニューラルネットワークのトレーニング力学に対するゲーティング機構の効果を体系的に検討する。 本稿では,各周波数成分に対する応答管理において,要素単位の積とアクティベーション関数の相互作用について検討する。 これらの知見を生かして,様々な周波数成分の情報を効率的に活用する軽量モデルであるGating Mechanism Network (GmNet)を提案する。 既存の軽量モデルに存在する低周波バイアスを最小限に抑える。 GmNetは画像分類タスクの有効性と効率の両面で優れた性能を実現している。

関連論文リスト

• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Dynamic Community Detection via Adversarial Temporal Graph Representation Learning [17.487265170798974]
  本研究では,脳ネットワークデータの少数のサンプルから動的コミュニティを検出するために,対角時間グラフ表現学習フレームワークを提案する。 さらに、このフレームワークは、時間グラフ表現の学習をガイドし、測定可能なモジュラリティ損失を最適化して、コミュニティのモジュラリティを最大化するために、敵対的なトレーニングを採用している。
  論文  参考訳（メタデータ） (2022-06-29T08:44:22Z)
• On the role of feedback in visual processing: a predictive coding perspective [0.6193838300896449]
  我々は、フィードフォワード視覚処理のモデルとして深層畳み込みネットワーク(CNN)を検討し、予測符号化(PC)ダイナミクスを実装した。 ノイズレベルが増加するにつれて、ネットワークはますますトップダウンの予測に依存している。 さらに,PCダイナミクスを実装するネットワークの精度は,等価なフォワードネットワークに比べて時間経過とともに著しく向上する。
  論文  参考訳（メタデータ） (2021-06-08T10:07:23Z)
• Machine Learning Link Inference of Noisy Delay-coupled Networks with Opto-Electronic Experimental Tests [1.0766846340954257]
  我々は,時間遅延のあるネットワークリンクを推論する一般的な問題を解決するために,機械学習手法を考案した。 まず、未知のネットワークのダイナミクスを模倣するために、貯水池コンピューティングとして知られる機械学習システムを訓練する。 本研究では, 貯留層出力層のトレーニングパラメータを用いて未知のネットワーク構造の推定を導出する手法を定式化し, 検証する。
  論文  参考訳（メタデータ） (2020-10-29T00:24:13Z)
• A Principle of Least Action for the Training of Neural Networks [10.342408668490975]
  ネットワークの輸送マップに低運動エネルギー偏差バイアスが存在することを示し、このバイアスと一般化性能を関連づける。 本稿では,与えられたタスクの複雑さに自動的に適応する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T15:37:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。