論文の概要: Geometric instability of out of distribution data across autoencoder architecture

• arxiv url: http://arxiv.org/abs/2201.11902v1
• Date: Fri, 28 Jan 2022 02:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 08:12:49.259160
• Title: Geometric instability of out of distribution data across autoencoder architecture
• Title（参考訳）: オートエンコーダアーキテクチャにおける分布データの幾何学的不安定性
• Authors: Susama Agarwala, Ben Dees, Corey Lowman
• Abstract要約: MNISTで訓練されたオートエンコーダの家族によって学習された地図について検討する。 10の異なる分布に応じて画素値のランダムな選択によって生成された10の異なるデータセットを評価する。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the map learned by a family of autoencoders trained on MNIST, and evaluated on ten different data sets created by the random selection of pixel values according to ten different distributions. Specifically, we study the eigenvalues of the Jacobians defined by the weight matrices of the autoencoder at each training and evaluation point. For high enough latent dimension, we find that each autoencoder reconstructs all the evaluation data sets as similar \emph{generalized characters}, but that this reconstructed \emph{generalized character} changes across autoencoder. Eigenvalue analysis shows that even when the reconstructed image appears to be an MNIST character for all out of distribution data sets, not all have latent representations that are close to the latent representation of MNIST characters. All told, the eigenvalue analysis demonstrated a great deal of geometric instability of the autoencoder both as a function on out of distribution inputs, and across architectures on the same set of inputs.
• Abstract（参考訳）: mnistで学習したオートエンコーダの系統が学習した地図を調査し,10種類の分布に応じて画素値のランダム選択により作成した10種類のデータセットについて評価した。 具体的には,オートエンコーダの重み行列で定義されるジャコビアンの固有値と評価点について検討する。 十分高い潜在次元では、各オートエンコーダは、類似の \emph{generalized characters} としてすべての評価データセットを再構成するが、この再構成された \emph{generalized character} は、オートエンコーダをまたいで変化する。 固有値解析により、再構成された画像が分布データセットの全てに対してMNIST文字のように見える場合でも、MNIST文字の潜在表現に近い潜在表現を持つとは限らないことが分かる。 いずれにせよ、固有値解析は、分布入力の関数としてのオートエンコーダの幾何的不安定性を、同じ入力の集合上のアーキテクチャ全体にわたって証明した。

関連論文リスト

• Quantised Global Autoencoder: A Holistic Approach to Representing Visual Data [7.152103069753289]
  量子化されたオートエンコーダでは、画像は通常、局所的なパッチに分割され、それぞれが1つのトークンでエンコードされる。 本手法は,入力信号を大域周波数の重畳に変換するスペクトル分解に着想を得たものである。
  論文  参考訳（メタデータ） (2024-07-16T17:05:20Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Deep ensembles in bioimage segmentation [74.01883650587321]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを提案する。 アンサンブル法では、多くの異なるモデルが訓練され、分類に使用され、アンサンブルは単一分類器の出力を集約する。 提案するアンサンブルは,DeepLabV3+とHarDNet環境を用いて,異なるバックボーンネットワークを組み合わせることで実現されている。
  論文  参考訳（メタデータ） (2021-12-24T05:54:21Z)
• Label-Free Model Evaluation with Semi-Structured Dataset Representations [78.54590197704088]
  ラベルなしモデル評価(AutoEval)は、ラベルなしテストセットでモデル精度を推定する。 画像ラベルがない場合、データセット表現に基づいて、回帰を伴うAutoEvalのモデル性能を推定する。 本稿では,AutoEvalのリッチな情報を含む回帰学習のための半構造化データセット表現を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:15:58Z)
• Eigen Analysis of Self-Attention and its Reconstruction from Partial Computation [58.80806716024701]
  ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。 注意点の変動の大部分は低次元固有空間にあることがわかった。 トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
  論文  参考訳（メタデータ） (2021-06-16T14:38:42Z)
• Rethinking Text Line Recognition Models [57.47147190119394]
  2つのデコーダファミリー(コネクショニスト時間分類と変換器)と3つのエンコーダモジュール(双方向LSTM、自己認識、GRCL)を考える。 広く使用されているシーンと手書きテキストの公開データセットの精度とパフォーマンスを比較します。 より一般的なTransformerベースのモデルとは異なり、このアーキテクチャは任意の長さの入力を処理できる。
  論文  参考訳（メタデータ） (2021-04-15T21:43:13Z)
• Full Encoder: Make Autoencoders Learn Like PCA [0.0]
  Fullは、非線形ドメインにおけるPCA対応として、新しい統一オートエンコーダフレームワークである。 完全で獲得された潜在変数は、ネットワークの初期状態に関係なく常に同じ表現を学習するため、安定かつ堅牢である。 Fullは非線形システムの自由度を決定するために使用することができ、データ圧縮や異常検出に有用である。
  論文  参考訳（メタデータ） (2021-03-25T18:57:30Z)
• Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized Autoencoders [0.0]
  我々は,複雑なデータ構造に対するパスラッソペナルテッドオートエンコーダを提案する。 アルゴリズムは,群ラスソペナルティと非負行列分解を用いて,スパースで非線形な潜在表現を構築する。 このアルゴリズムは,低次元表現のためのスパースPCAやパラメータワイドラッソ正規化オートエンコーダよりもはるかに低い再構成誤差を示す。
  論文  参考訳（メタデータ） (2021-02-22T10:14:46Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。