論文の概要: WLD-Reg: A Data-dependent Within-layer Diversity Regularizer

• arxiv url: http://arxiv.org/abs/2301.01352v1
• Date: Tue, 3 Jan 2023 20:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 15:12:35.774470
• Title: WLD-Reg: A Data-dependent Within-layer Diversity Regularizer
• Title（参考訳）: wld-reg: データ依存層内多様性調整器
• Authors: Firas Laakom, Jenni Raitoharju, Alexandros Iosifidis and Moncef Gabbouj
• Abstract要約: ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
• 参考スコア（独自算出の注目度）: 98.78384185493624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are composed of multiple layers arranged in a hierarchical structure jointly trained with a gradient-based optimization, where the errors are back-propagated from the last layer back to the first one. At each optimization step, neurons at a given layer receive feedback from neurons belonging to higher layers of the hierarchy. In this paper, we propose to complement this traditional 'between-layer' feedback with additional 'within-layer' feedback to encourage the diversity of the activations within the same layer. To this end, we measure the pairwise similarity between the outputs of the neurons and use it to model the layer's overall diversity. We present an extensive empirical study confirming that the proposed approach enhances the performance of several state-of-the-art neural network models in multiple tasks. The code is publically available at \url{https://github.com/firasl/AAAI-23-WLD-Reg}
• Abstract（参考訳）: ニューラルネットワークは階層構造に配置された複数のレイヤで構成され、勾配に基づく最適化によって、エラーが最後のレイヤから最初のレイヤにバックプロパゲーションされる。 各最適化ステップにおいて、与えられた階層のニューロンは階層の上位層に属するニューロンからフィードバックを受け取る。 本稿では、この従来の「中間層」フィードバックを補足して、同一層内での活性化の多様性を促進することを提案する。 この目的のために、ニューロンの出力間の対関係の類似性を計測し、それを用いて層全体の多様性をモデル化する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証する。 コードは \url{https://github.com/firasl/AAAI-23-WLD-Reg} で公開されている。

関連論文リスト

• Discovering Message Passing Hierarchies for Mesh-Based Physics Simulation [61.89682310797067]
  DHMPを導入し,異なるノード選択手法を用いてメッセージパッシングネットワークの動的階層を学習する。 本実験はDHMPの有効性を実証し,近年の固定階層型メッセージパッシングネットワークと比較して平均22.7%改善した。
  論文  参考訳（メタデータ） (2024-10-03T15:18:00Z)
• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling [20.593232086762665]
  フェデレートラーニングは、有望な分散学習パラダイムとして、中央データ収集を必要とせずに、複数のネットワークエッジクライアントにわたるグローバルモデルの協調トレーニングを可能にする。 我々はFedCMDと呼ばれる新しいフェデレーション学習フレームワークを提案する。 私たちのモチベーションは、パーソナライズされた頭として異なるニューラルネットワーク層を選択するパフォーマンスを深く調査することで、現在の研究でパーソナライズされた頭として最後の層を厳格に割り当てることが常に最適であるとは限らない、ということです。
  論文  参考訳（メタデータ） (2024-03-04T05:10:28Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Learning the Right Layers: a Data-Driven Layer-Aggregation Strategy for Semi-Supervised Learning on Multilayer Graphs [2.752817022620644]
  多層グラフ上のクラスタリング(あるいはコミュニティ検出)は、さらにいくつかの複雑さを生じさせる。 主な課題の1つは、各レイヤがクラスタのイテレーションの割り当てにどの程度貢献するかを確立することである。 利用可能な入力ラベルから異なる層を最適に非線形に組み合わせたパラメータフリーなラプラシアン正規化モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-31T19:50:11Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Multilevel-in-Layer Training for Deep Neural Network Regression [1.6185544531149159]
  ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。 我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T23:53:46Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation [2.654526698055524]
  正規化レイヤと畳み込みレイヤと完全に接続されたレイヤを融合する等価ネットワークを構築します。 MNIST と CIFAR 10 で得られた熱マップは畳み込み層に対してより正確である。
  論文  参考訳（メタデータ） (2020-02-24T13:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。