Fugu-MT 論文翻訳(概要): Self-similarity Analysis in Deep Neural Networks

論文の概要: Self-similarity Analysis in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2507.17785v1
Date: Wed, 23 Jul 2025 09:01:53 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-25 15:10:42.230924
Title: Self-similarity Analysis in Deep Neural Networks
Title（参考訳）: 深部ニューラルネットワークにおける自己相似性解析
Authors: Jingyi Ding, Chengwen Qi, Hongfei Wang, Jianshe Wu, Licheng Jiao, Yuwei Guo, Jian Gao,
Abstract要約: いくつかのディープニューラルネットワークは、特徴表現やパラメータ分布に強い階層的自己相似性を示す。本稿では,隠蔽層に構築された特徴ネットワークの自己相似性を調べるために,隠蔽層ニューロンの出力特性に基づく複雑なネットワーク手法を提案する。
参考スコア（独自算出の注目度）: 33.89368443432198
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Current research has found that some deep neural networks exhibit strong hierarchical self-similarity in feature representation or parameter distribution. However, aside from preliminary studies on how the power-law distribution of weights across different training stages affects model performance,there has been no quantitative analysis on how the self-similarity of hidden space geometry influences model weight optimization, nor is there a clear understanding of the dynamic behavior of internal neurons. Therefore, this paper proposes a complex network modeling method based on the output features of hidden-layer neurons to investigate the self-similarity of feature networks constructed at different hidden layers, and analyzes how adjusting the degree of self-similarity in feature networks can enhance the classification performance of deep neural networks. Validated on three types of networks MLP architectures, convolutional networks, and attention architectures this study reveals that the degree of self-similarity exhibited by feature networks varies across different model architectures. Furthermore, embedding constraints on the self-similarity of feature networks during the training process can improve the performance of self-similar deep neural networks (MLP architectures and attention architectures) by up to 6 percentage points.
Abstract（参考訳）: いくつかのディープニューラルネットワークは、特徴表現やパラメータ分布に強い階層的自己相似性を示す。しかし、異なる訓練段階における重量のパワー-法則分布がモデル性能にどのように影響するかに関する予備的な研究は別として、隠れた空間幾何学の自己相似性がモデルウェイト最適化にどのように影響するかの定量的な分析は行われておらず、また、内部ニューロンの動的挙動の明確な理解もない。そこで本研究では,隠蔽層に構築された特徴ネットワークの自己相似性を調べるために,隠蔽層ニューロンの出力特性に基づく複雑なネットワークモデリング手法を提案する。本研究は,3種類のMLPアーキテクチャ,畳み込みネットワーク,アテンションアーキテクチャを検証した結果,特徴ネットワークが示す自己相似性の程度が,モデルアーキテクチャによって異なることが明らかになった。さらに、トレーニングプロセス中に特徴ネットワークの自己相似性に制約を埋め込むことで、自己相似ディープニューラルネットワーク(MLPアーキテクチャとアテンションアーキテクチャ)の性能を最大6%向上させることができる。

関連論文リスト

On Learnable Parameters of Optimal and Suboptimal Deep Learning Models [2.889799048595314]
ディープラーニングモデルの構造的および運用的側面について検討する。本研究は,学習可能なパラメータ(重み)統計,分布,ノード間相互作用,可視化のニュアンスに着目した。
論文参考訳（メタデータ） (2024-08-21T15:50:37Z)
Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
スパースコーディングとディープラーニングの交差点を探索し,特徴抽出能力の理解を深める。我々は、畳み込みニューラルネットワーク(CNN)のスパース特徴抽出能力の収束率を導出する。スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
論文参考訳（メタデータ） (2024-08-10T12:43:55Z)
Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
論文参考訳（メタデータ） (2023-02-20T19:33:38Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文参考訳（メタデータ） (2021-07-30T03:37:00Z)
Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文参考訳（メタデータ） (2021-03-31T08:15:17Z)
Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文参考訳（メタデータ） (2021-02-27T03:17:20Z)
Deep Randomized Neural Networks [12.333836441649343]
ランダム化されたニューラルネットワークは、ほとんどの接続が固定されたニューラルネットワークの挙動を探索する。本章はランダム化ニューラルネットワークの設計と解析に関する主要な側面をすべて調査する。
論文参考訳（メタデータ） (2020-02-27T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。