論文の概要: Spectral characteristics of autoencoder parameters as a vector representation of data
- arxiv url: http://arxiv.org/abs/2609.03495v1
- Date: Thu, 03 Sep 2026 07:59:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.975585
- Title: Spectral characteristics of autoencoder parameters as a vector representation of data
- Title(参考訳): データベクトル表現としてのオートエンコーダパラメータのスペクトル特性
- Abstract要約: 本稿では,オートエンコーダモデルのパラメータとトレーニング対象データの統計的特性との関係について検討する。
モデルパラメータは, 対応するサンプルの密度ベクトル表現とみなすことができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper examines the relationship between the parameters of autoencoder models and the statistical properties of the data on which they are trained. Autoencoders are defined as models with an encoder-decoder architecture, trained to reconstruct input data through a compressed latent representation. It is proposed that the model parameters can be viewed as a dense vector representation of the corresponding sample. To test this hypothesis, a theoretical and experimental study is conducted in which a vector representation is formed based on the spectral characteristics of the autoencoder parameter matrices. Theoretical analysis shows that the singular values of the model parameter matrices are related to the eigenvalues of the covariance matrix of the training data, ensuring the transfer of information between the data space and the parameter space. Experimental results on the CIFAR-10 and FashionMNIST datasets confirm that the resulting vector representations allow for a high degree of accuracy in distinguishing between models trained on different data subsets, without resorting to complex vector generation algorithms or using the original samples. These results suggest that the parameters of trained autoencoders can be viewed as sample representations.
- Abstract(参考訳): 本稿では,オートエンコーダモデルのパラメータとトレーニング対象データの統計的特性との関係について検討する。
オートエンコーダはエンコーダ・デコーダアーキテクチャを持つモデルとして定義され、圧縮された潜在表現を通じて入力データを再構成するように訓練されている。
モデルパラメータは, 対応するサンプルの密度ベクトル表現とみなすことができる。
この仮説を検証するために、自己エンコーダパラメータ行列のスペクトル特性に基づいてベクトル表現が形成される理論的および実験的研究を行った。
理論的解析により、モデルのパラメータ行列の特異値は、トレーニングデータの共分散行列の固有値と関連し、データ空間とパラメータ空間の間の情報の転送を保証することが示されている。
CIFAR-10とFashionMNISTデータセットの実験結果から、結果として得られるベクトル表現は、複雑なベクトル生成アルゴリズムや元のサンプルを使わずに、異なるデータサブセットでトレーニングされたモデルの区別を高い精度で行うことができることを確認した。
これらの結果は、訓練されたオートエンコーダのパラメータをサンプル表現として見ることができることを示唆している。
関連論文リスト
- The Degeneracy Distillery [0.0]
本稿では, 縮退パラメータの組み合わせを検出し, 解決する方法である縮退蒸留について述べる。
可能性の情報幾何を探索することにより、縮退を物理モデルの本質的な性質として特徴づける。
我々は、シンボリック座標変換を発見し、様々な合成および実世界の問題に対するアプローチを実証する。
論文 参考訳(メタデータ) (2026-06-22T18:18:09Z) - Tensor Polynomial Additive Model [40.30621617188693]
TPAMは、加法モデルの固有の解釈可能性、透明な意思決定、意味のある特徴値の抽出を保存している。
精度を最大30%向上し、圧縮速度を最大5倍向上させ、良好な解釈性を維持することができる。
論文 参考訳(メタデータ) (2024-06-05T06:23:11Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文 参考訳(メタデータ) (2022-10-06T15:25:00Z) - Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。
パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
論文 参考訳(メタデータ) (2022-01-28T12:00:31Z) - Weight Vector Tuning and Asymptotic Analysis of Binary Linear
Classifiers [82.5915112474988]
本稿では,スカラーによる判別器の分解をパラメータ化することで,ジェネリックバイナリ線形分類器の重みベクトルチューニングを提案する。
また,重みベクトルチューニングは,高推定雑音下での線形判別分析(LDA)の性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2021-10-01T17:50:46Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Multivariate Temporal Autoencoder for Predictive Reconstruction of Deep
Sequences [0.0]
時系列の予測とモデリングは、実世界のデータセットにおいて挑戦的な試みであることが証明されている。
2つの重要な問題は、データの多次元性と、遅延出力信号を形成する独立次元の相互作用である。
本稿では,データウィンドウの潜在状態ベクトル表現をモデル化することにより,上記の問題に対処するためのマルチブランチディープニューラルネットワーク手法を提案する。
論文 参考訳(メタデータ) (2020-10-07T21:25:35Z) - Gradient Origin Networks [8.952627620898074]
本稿では,エンコーダを使わずに潜在表現を素早く学習できる新しい生成モデルを提案する。
実験により,提案手法は自己エンコーダよりも高速に収束し,パラメータの半分を必要としながら再構成誤差が著しく低いことがわかった。
論文 参考訳(メタデータ) (2020-07-06T15:00:11Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。