論文の概要: Structure Is Not Enough: Leveraging Behavior for Neural Network Weight Reconstruction

• arxiv url: http://arxiv.org/abs/2503.17138v1
• Date: Fri, 21 Mar 2025 13:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:55:59.581152
• Title: Structure Is Not Enough: Leveraging Behavior for Neural Network Weight Reconstruction
• Title（参考訳）: ニューラルネットワークの重み再構築のためのレバレッジ行動
• Authors: Léo Meynent, Ivan Melev, Konstantin Schürholt, Göran Kauermann, Damian Borth,
• Abstract要約: NN重みを利用する1つのアプローチは、コントラストと再構成損失を用いたオートエンコーダ(AE)の訓練である。 AEは、元のモデルと比べて性能が低下したNNモデルを再構築し、モデルの重量発生に関して使用性を制限した。 構造的信号と振舞い信号の相乗効果が強く, 下流の全てのタスクにおいて性能が向上することを示した。
• 参考スコア（独自算出の注目度）: 6.926413609535758
• License:
• Abstract: The weights of neural networks (NNs) have recently gained prominence as a new data modality in machine learning, with applications ranging from accuracy and hyperparameter prediction to representation learning or weight generation. One approach to leverage NN weights involves training autoencoders (AEs), using contrastive and reconstruction losses. This allows such models to be applied to a wide variety of downstream tasks, and they demonstrate strong predictive performance and low reconstruction error. However, despite the low reconstruction error, these AEs reconstruct NN models with deteriorated performance compared to the original ones, limiting their usability with regard to model weight generation. In this paper, we identify a limitation of weight-space AEs, specifically highlighting that a structural loss, that uses the Euclidean distance between original and reconstructed weights, fails to capture some features critical for reconstructing high-performing models. We analyze the addition of a behavioral loss for training AEs in weight space, where we compare the output of the reconstructed model with that of the original one, given some common input. We show a strong synergy between structural and behavioral signals, leading to increased performance in all downstream tasks evaluated, in particular NN weights reconstruction and generation.
• Abstract（参考訳）: ニューラルネットワーク(NN)の重みは、最近では、精度やハイパーパラメータ予測から、表現学習や重み生成に至るまで、機械学習における新たなデータモダリティとして注目されている。 NNウェイトを利用する1つのアプローチは、コントラストと再構成の損失を利用してオートエンコーダ(AE)を訓練することである。 これにより、様々な下流タスクにそのようなモデルを適用することができ、強い予測性能と低い再構成誤差を示す。 しかし、復元誤差が低いにもかかわらず、これらのAEは元のモデルと比べて性能が低下したNNモデルを再構成し、モデル重量発生に関する使用性を制限する。 本稿では,重み空間AEsの限界を同定し,原重と再構成重みの間のユークリッド距離を用いた構造的損失は,高い性能モデルを構築する上で重要な特徴を捉えることができないことを示す。 重み空間におけるAEsの学習における行動損失の付加について分析し, 再構成されたモデルと元のモデルとの出力を比較し, 共通入力について検討する。 構造的信号と振舞い信号の相乗効果が強く評価され,特にNN重みの復元と生成において,下流タスクにおける性能が向上した。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Symplectic Autoencoders for Model Reduction of Hamiltonian Systems [0.0]
  長期の数値安定性を確保するためには,システムに関連するシンプレクティックな構造を維持することが重要である。 本稿では,次元削減のための確立されたツールであるオートエンコーダの精神の中で,新しいニューラルネットワークアーキテクチャを提案する。 ネットワークのトレーニングには,非標準勾配降下法を適用した。
  論文  参考訳（メタデータ） (2023-12-15T18:20:25Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Conditional deep generative models as surrogates for spatial field solution reconstruction with quantified uncertainty in Structural Health Monitoring applications [0.0]
  構造健康モニタリング(SHM)に関わる問題では,高次元データの処理と不確実性の定量化の両方が可能なモデルが必要である。 本稿では,そのような応用と高次元構造シミュレーションを主目的とした条件付き深部生成モデルを提案する。 このモデルは、参照有限要素(FE)ソリューションと比較して高い再構成精度を達成でき、同時に負荷不確実性を符号化することに成功した。
  論文  参考訳（メタデータ） (2023-02-14T20:13:24Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• The learning phases in NN: From Fitting the Majority to Fitting a Few [2.5991265608180396]
  本研究では、学習中のパラメータの進化に基づいて、入力と予測性能の層再構成能力を分析する。 また、ResNetやVGGといったコンピュータビジョンから、共通のデータセットやアーキテクチャを用いて行動を評価する。
  論文  参考訳（メタデータ） (2022-02-16T19:11:42Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。