論文の概要: Automatic Organization of Neural Modules for Enhanced Collaboration in Neural Networks

• arxiv url: http://arxiv.org/abs/2005.04088v4
• Date: Wed, 01 Jan 2025 11:47:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:13:23.109588
• Title: Automatic Organization of Neural Modules for Enhanced Collaboration in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける協調強化のためのニューラルネットワークモジュールの自動編成
• Authors: Xinshun Liu, Yizhi Fang, Yichao Jiang,
• Abstract要約: 本研究はニューラルネットワーク(NN)の構造に関する新しい視点を提案する。 伝統的なNNは通常、便利な木のような構造である。 我々は,ニューラル・モジュールというニューラル・ユニットを編成する新しい方法を確立するために,同期グラフに基づく構造を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This work proposes a new perspective on the structure of Neural Networks (NNs). Traditional Neural Networks are typically tree-like structures for convenience, which can be predefined or learned by NAS methods. However, such a structure can not facilitate communications between nodes at the same level or signal transmissions to previous levels. These defects prevent effective collaboration, restricting the capabilities of neural networks. It is well-acknowledged that the biological neural system contains billions of neural units. Their connections are far more complicated than the current NN structure. To enhance the representational ability of neural networks, existing works try to increase the depth of the neural network and introduce more parameters. However, they all have limitations with constrained parameters. In this work, we introduce a synchronous graph-based structure to establish a novel way of organizing the neural units: the Neural Modules. This framework allows any nodes to communicate with each other and encourages neural units to work collectively, demonstrating a departure from the conventional constrained paradigm. Such a structure also provides more candidates for the NAS methods. Furthermore, we also propose an elegant regularization method to organize neural units into multiple independent, balanced neural modules systematically. This would be convenient for handling these neural modules in parallel. Compared to traditional NNs, our method unlocks the potential of NNs from tree-like structures to general graphs and makes NNs be optimized in an almost complete set. Our approach proves adaptable to diverse tasks, offering compatibility across various scenarios. Quantitative experimental results substantiate the potential of our structure, indicating the improvement of NNs.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク(NN)の構造に関する新たな視点を提案する。 従来のニューラルネットワークは、一般的に便利な木のような構造であり、NASメソッドによって事前定義されたり、学習されたりすることができる。 しかし、そのような構造は、同じレベルのノード間の通信や、以前のレベルへの信号伝達を促進できない。 これらの欠陥は効果的なコラボレーションを防ぎ、ニューラルネットワークの能力を制限する。 生物学的神経系が何十億もの神経ユニットを含んでいることはよく認識されている。 彼らの接続は現在のNN構造よりもはるかに複雑である。 ニューラルネットワークの表現能力を高めるために、既存の研究はニューラルネットワークの深さを高め、より多くのパラメータを導入しようとしている。 しかし、いずれも制約パラメータの制限がある。 本研究では,ニューラル・モジュールというニューラル・ユニットを編成する新しい手法を確立するために,同期グラフに基づく構造を導入する。 このフレームワークは、任意のノードが互いに通信し、ニューラルユニットを集合的に動作させることを可能にし、従来の制約されたパラダイムから逸脱することを示す。 このような構造はNASメソッドの候補も増やす。 さらに,複数の独立したバランスの取れたニューラルモジュールを体系的に構成するエレガントな正規化手法を提案する。 これはこれらのニューラルモジュールを並列に扱うのに便利だろう。 従来のNNと比較して,木のような構造から一般的なグラフへのNNのポテンシャルを解放し,NNをほぼ完全なセットで最適化する。 このアプローチは多様なタスクに適用可能であることを証明し、さまざまなシナリオで互換性を提供します。 定量的に検討した結果, NNの改善が示唆され, 構造の可能性が実証された。

関連論文リスト

• First-Order Manifold Data Augmentation for Regression Learning [4.910937238451485]
  我々は、新しいデータ駆動型ドメイン非依存データ拡張法であるFOMAを紹介する。 分布内一般化と分布外ベンチマークに基づいてFOMAを評価し,いくつかのニューラルアーキテクチャの一般化を改善することを示す。
  論文  参考訳（メタデータ） (2024-06-16T12:35:05Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• Domain-Class Correlation Decomposition for Generalizable Person Re-Identification [34.813965300584776]
  個人の再識別では、ドメインとクラスは相関する。 このドメイン・クラス間の相関関係により、ドメインの敵対的学習はクラスに関する特定の情報を失うことが示される。 我々のモデルは、大規模ドメイン一般化Re-IDベンチマークにおいて最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-29T09:45:03Z)
• Quantifying and Improving Transferability in Domain Generalization [53.16289325326505]
  アウト・オブ・ディストリビューションの一般化は、実験室から現実世界にモデルを移す際の重要な課題の1つである。 我々は、領域一般化において量子化と計算が可能な転送可能性を正式に定義する。 転送可能な特徴を学習し、様々なベンチマークデータセット上でテストするための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T14:04:32Z)
• An Improved Transfer Model: Randomized Transferable Machine [32.50263074872975]
  そこで本研究では,Randomized Transferable Machine (RTM) と呼ばれる新しいトランスファーモデルを提案する。 具体的には,既存の特徴量に基づく転送手法から得られた新たなソースとターゲットデータについて検討する。 原則として、汚職が多くなるほど、新しいターゲットデータの確率が高くなると、構築されたソースデータ人口でカバーできる。
  論文  参考訳（メタデータ） (2020-11-27T09:37:01Z)
• Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation [102.67010690592011]
  Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。 従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。 この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
  論文  参考訳（メタデータ） (2020-02-20T03:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。