論文の概要: Data Augmentation Techniques to Reverse-Engineer Neural Network Weights from Input-Output Queries

• arxiv url: http://arxiv.org/abs/2511.20312v1
• Date: Tue, 25 Nov 2025 13:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.48627
• Title: Data Augmentation Techniques to Reverse-Engineer Neural Network Weights from Input-Output Queries
• Title（参考訳）: 入力出力クエリからのリバースエンジニアリングニューラルネットワークウェイトへのデータ拡張手法
• Authors: Alexander Beiser, Flavio Martinelli, Wulfram Gerstner, Johanni Brea,
• Abstract要約: 教師-学生のセットアップでは、教師マッピングのデータセット(教師に問い合わせる)を収集し、学生にそのようなマッピングを真似させる。 現在の方法は、教師のパラメータがトレーニングデータよりも多ければ失敗する。 教師ネットワークの入力出力マッピングを最適にサンプリングするために,教師の隠蔽層からリッチな表現セットを抽出することを目的とした拡張手法を検討する。
• 参考スコア（独自算出の注目度）: 47.58817034247679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network weights can be reverse-engineered given enough informative samples of a network's input-output function. In a teacher-student setup, this translates into collecting a dataset of the teacher mapping -- querying the teacher -- and fitting a student to imitate such mapping. A sensible choice of queries is the dataset the teacher is trained on. But current methods fail when the teacher parameters are more numerous than the training data, because the student overfits to the queries instead of aligning its parameters to the teacher. In this work, we explore augmentation techniques to best sample the input-output mapping of a teacher network, with the goal of eliciting a rich set of representations from the teacher hidden layers. We discover that standard augmentations such as rotation, flipping, and adding noise, bring little to no improvement to the identification problem. We design new data augmentation techniques tailored to better sample the representational space of the network's hidden layers. With our augmentations we extend the state-of-the-art range of recoverable network sizes. To test their scalability, we show that we can recover networks of up to 100 times more parameters than training data-points.
• Abstract（参考訳）: ネットワークの入出力関数の十分な情報サンプルがあれば、ネットワークウェイトをリバースエンジニアリングすることができる。 教師-学生のセットアップでは、教師マッピングのデータセット(教師に問い合わせる)を収集し、学生にそのようなマッピングを真似させる。 クエリの適切な選択は、教師がトレーニングしているデータセットです。 しかし、現在のメソッドは、教師パラメータがトレーニングデータよりも数が多いときに失敗する。 本研究では,教師ネットワークの入力出力マッピングを最もよくサンプリングするための拡張手法について検討し,教師が隠蔽層からリッチな表現セットを抽出することを目的とした。 また, 回転, 転動, 音の付加といった標準的な拡張が, 識別問題にはほとんど改善しないことがわかった。 我々は、ネットワークの隠されたレイヤの表現空間をよりよくサンプリングするために、新しいデータ拡張テクニックを設計する。 拡張により、回復可能なネットワークサイズの最先端範囲を拡張します。 スケーラビリティをテストするために、データポイントのトレーニングよりも最大100倍のパラメータのネットワークを復元できることを示す。

関連論文リスト

• Hybrid Data-Free Knowledge Distillation [11.773963069904955]
  我々はtextbfHybrtextbfid textbfData-textbfFree textbfDistillation (HiDFD) と呼ばれるデータフリー知識蒸留法を提案する。 我々のHiDFDは、既存の手法の120倍少ない収集データを用いて最先端のパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2024-12-18T05:52:16Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Expand-and-Cluster: Parameter Recovery of Neural Networks [9.497862562614666]
  それぞれのニューロンの重みベクトルは,活性化関数に応じて,サインやスケーリングが可能であることを示す。 提案手法は, 一般的に使用されるすべてのアクティベーション関数に対して, 対象ネットワークの重みを同定する。
  論文  参考訳（メタデータ） (2023-04-25T13:14:20Z)
• Improved knowledge distillation by utilizing backward pass knowledge in neural networks [17.437510399431606]
  知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。 本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。 自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
  論文  参考訳（メタデータ） (2023-01-27T22:07:38Z)
• UNIKD: UNcertainty-filtered Incremental Knowledge Distillation for Neural Implicit Representation [48.49860868061573]
  最近の神経暗黙表現(NIR)は、3次元再構成と新しいビュー合成のタスクにおいて大きな成功を収めている。 それらは、異なるカメラビューからのシーンのイメージを、一度のトレーニングで利用できるようにする必要がある。 これは特に大規模なシーンと限られたデータストレージを持つシナリオでは高価である。 我々は、破滅的な問題を緩和するために、学生-教師の枠組みを設計する。
  論文  参考訳（メタデータ） (2022-12-21T11:43:20Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。