Fugu-MT 論文翻訳(概要): Layer-wise Input Recoverability in Deep Neural Networks

論文の概要: Layer-wise Input Recoverability in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2610.14290v1
Date: Fri, 09 Oct 2026 20:12:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-20 22:15:32.174503
Title: Layer-wise Input Recoverability in Deep Neural Networks
Title（参考訳）: ディープニューラルネットワークにおけるレイヤワイズ入力の回復性
Abstract要約: 我々は、畳み込みニューラルネットワークにおいて、レイヤの出力から、レイヤ自身の入力がどの程度回復可能かを研究する。畳み込み層はそのフィルタを1つの入力パッチに一度に印加するので、再構成ベースのプローブを用いてサンプル入力パッチの復元性を評価する。各層について,線形および線形余剰のMLPデコーダを用いて,事前学習,ランダム化,再構成最適化のエンコーダを比較した。
参考スコア（独自算出の注目度）: 5.452728209216755
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The inner workings of deep neural networks are still not well understood. The information bottleneck framework, which characterizes deep networks by the mutual information between their hidden representations and the network's input, has been used to identify compression of input information with respect to an input image and output labels. We instead study how much of a layer's own input is recoverable from the layer's output in convolutional neural networks (CNNs). A convolutional layer applies its filters to one input patch at a time, so we evaluate recoverability on sampled input patches with a reconstruction-based probe and not on the entire feature map. The probe's size thus depends on channels and kernel size and not on feature map size, which lets our method scale to deep CNNs with wide feature maps. For each layer, we compare pretrained, random, and reconstruction-optimized encoders, using linear and linear-plus-residual-MLP decoders. We measure recoverability as $R^2$ between input patches and their reconstructions on a held-out set. Across nine ImageNet CNNs, recoverability generally decreases with depth but is more consistently predicted by the compression of the layer. Learning-attributed recoverability, the difference between pretrained and random encoders, is not uniform across architectures. We introduce single-property random controls, which transfer one pretrained property onto a random encoder, and find that each control changes recoverability with a consistent sign across models: copying pretrained singular vectors tends to raise recoverability, while copying the pretrained singular-value spectrum or activation sparsity lowers it.
Abstract（参考訳）: ディープニューラルネットワークの内部構造はまだよく理解されていない。隠れた表現とネットワークの入力の相互情報によってディープネットワークを特徴付ける情報ボトルネックフレームワークを用いて、入力画像および出力ラベルに関する入力情報の圧縮を識別する。代わりに、畳み込みニューラルネットワーク(CNN)において、レイヤの出力から、レイヤ自身の入力がどの程度回復可能かを研究する。畳み込み層はそのフィルタを1つの入力パッチに一度に印加するので、特徴マップ全体ではなく、再構成ベースのプローブを用いてサンプル入力パッチの復元性を評価する。したがって、プローブのサイズはチャネルとカーネルのサイズに依存し、特徴マップのサイズには依存しない。各層について,線形および線形余剰のMLPデコーダを用いて,事前学習,ランダム化,再構成最適化のエンコーダを比較した。整合性は入力パッチと保持集合上の再構成の間の$R^2$として測定する。 9つのImageNet CNNで、リカバリ可能性は一般的に深さとともに減少するが、レイヤの圧縮によってより一貫して予測される。事前訓練されたエンコーダとランダムエンコーダの違いである学習属性の回復性は、アーキテクチャ全体にわたって均一ではない。本研究では,1つの事前学習された特性をランダムなエンコーダに転送する単一プロパティランダム制御を導入し,各制御が一貫した符号で復元可能性を変化させることを見出した。

関連論文リスト

Fully invertible hyperbolic neural networks for segmenting large-scale surface and sub-surface data [4.1579007112499315]
本稿では,電信方程式に基づく完全可逆ネットワークについて述べる。完全可逆ネットワークと畳み込みカーネルを含む層を直接圧縮形式で結合することにより、畳み込みカーネルの爆発に対処する。超スペクトル土地利用分類、空中物理探査、および地震探査の例は、1チャンクで大きなデータ量を入力でき、小さなパッチで作業する必要がないことを示している。
論文参考訳（メタデータ） (2024-06-30T05:35:12Z)
Generative Kaleidoscopic Networks [2.321684718906739]
我々は、このニューラルネットワークの特性を利用して、ジェネレーティブ・カレイドスコープと呼ばれるデータセット・カレイドスコープを設計する。我々は、CNN、Transformers、U-Netsといった他のディープラーニングアーキテクチャに対して、この現象を様々な程度に観測した。
論文参考訳（メタデータ） (2024-02-19T02:48:40Z)
Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。与えられた層における学習された表現は拡散冗長性を示す。我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文参考訳（メタデータ） (2023-05-31T21:00:50Z)
NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文参考訳（メタデータ） (2022-09-29T04:06:00Z)
Deep Neural Networks are Surprisingly Reversible: A Baseline for Zero-Shot Inversion [90.65667807498086]
本稿では、内部表現のみを与えられたトレーニングモデルへの入力を復元するゼロショット直接モデル逆変換フレームワークを提案する。 ImageNetの最新の分類モデルでは、20層以上の表現から元の224x224px画像を近似的に復元できることを実証的に示す。
論文参考訳（メタデータ） (2021-07-13T18:01:43Z)
Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文参考訳（メタデータ） (2021-06-16T15:56:34Z)
Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
論文参考訳（メタデータ） (2020-10-22T02:34:33Z)
Binary autoencoder with random binary weights [0.0]
層間情報を保存するために,隠蔽層の疎活性化が自然に起こることが示されている。十分に大きな隠蔽層があれば、ニューロンのしきい値を変えるだけで任意の入力に対する再構成誤差をゼロにすることができる。このモデルはフルーツフライの嗅覚システムに似ており、提示された理論的結果はより複雑なニューラルネットワークを理解する上で有用な洞察を与える。
論文参考訳（メタデータ） (2020-04-30T12:13:19Z)
What Information Does a ResNet Compress? [0.0]
情報ボトルネックの原理がResNetモデルを用いて現実的な設定に適用できるかどうかを検証する。学習の2つの段階は、両方の訓練体制で起こり、圧縮はオートエンコーダでも起こります。
論文参考訳（メタデータ） (2020-03-13T13:02:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。