論文の概要: Navigating the Latent Space Dynamics of Neural Models

• arxiv url: http://arxiv.org/abs/2505.22785v2
• Date: Mon, 09 Jun 2025 22:28:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 19:51:30.1983
• Title: Navigating the Latent Space Dynamics of Neural Models
• Title（参考訳）: ニューラルモデルにおける潜時空間ダイナミクスの探索
• Authors: Marco Fumero, Luca Moschella, Emanuele Rodolà, Francesco Locatello,
• Abstract要約: 我々は、潜在多様体に作用する力学系として、ニューラルモデルの別の解釈を示す。 オートエンコーダモデルは、符号化復号写像を反復的に適用することによって導かれる、多様体上の潜在ベクトル場を暗黙的に定義することを示す。 本稿では,ベクトル場をネットワークの表現として活用し,モデルとデータの特性を解析するための新しいツールを提案する。
• 参考スコア（独自算出の注目度）: 35.39092540369244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks transform high-dimensional data into compact, structured representations, often modeled as elements of a lower dimensional latent space. In this paper, we present an alternative interpretation of neural models as dynamical systems acting on the latent manifold. Specifically, we show that autoencoder models implicitly define a latent vector field on the manifold, derived by iteratively applying the encoding-decoding map, without any additional training. We observe that standard training procedures introduce inductive biases that lead to the emergence of attractor points within this vector field. Drawing on this insight, we propose to leverage the vector field as a representation for the network, providing a novel tool to analyze the properties of the model and the data. This representation enables to: (i) analyze the generalization and memorization regimes of neural models, even throughout training; (ii) extract prior knowledge encoded in the network's parameters from the attractors, without requiring any input data; (iii) identify out-of-distribution samples from their trajectories in the vector field. We further validate our approach on vision foundation models, showcasing the applicability and effectiveness of our method in real-world scenarios.
• Abstract（参考訳）: ニューラルネットワークは高次元データをコンパクトで構造化された表現に変換し、しばしば低次元の潜在空間の要素としてモデル化する。 本稿では,潜在多様体に作用する力学系として,ニューラルモデルの代替解釈を提案する。 具体的には, 符号化復号写像を反復的に適用することにより, 付加的な訓練を伴わずに, 多様体上の潜在ベクトル場を暗黙的に定義することを示す。 このベクトル場内に誘導点が出現する原因となる帰納的バイアスが標準的訓練手法によってもたらされることを観察する。 この知見に基づいて,ベクトル場をネットワークの表現として活用し,モデルとデータの特性を解析するための新しいツールを提案する。 この表現は、 一 訓練中であっても、神経モデルの一般化及び記憶体制を解析すること。 二 ネットワークのパラメータに符号化された事前知識を、入力データを必要としない引受者から抽出すること。 三 ベクトル場の軌跡から分布外サンプルを同定すること。 さらに,視覚基盤モデルへのアプローチを検証し,実世界のシナリオにおける手法の適用性と有効性を示す。

関連論文リスト

• Spatiotemporal Implicit Neural Representation as a Generalized Traffic Data Learner [46.866240648471894]
  時空間交通データ(STTD)は、マルチスケール交通システムの複雑な動的挙動を測定する。 本稿では,STTDを暗黙的ニューラル表現としてパラメータ化することで,STTD学習問題に対処する新しいパラダイムを提案する。 実世界のシナリオにおける広範な実験を通じて,その有効性を検証し,廊下からネットワークスケールへの応用を示す。
  論文  参考訳（メタデータ） (2024-05-06T06:23:06Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• ProtoVAE: Prototypical Networks for Unsupervised Disentanglement [1.6114012813668934]
  本稿では,自己スーパービジョンを用いて学習した深層学習型プロトタイプネットワークを活用する,新しい深部生成型VAEモデルProtoVAEを提案する。 我々のモデルは、完全に教師なしであり、要素数を含むデータセットの事前知識を必要としない。 提案手法をベンチマークdSprites, 3DShapes, MPI3Dディジアングルメントデータセット上で評価した。
  論文  参考訳（メタデータ） (2023-05-16T01:29:26Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A Short Review on Data Modelling for Vector Fields [5.51641435875237]
  機械学習手法は、幅広いデータ分析と分析タスクを扱うことに成功している。 近年、ディープニューラルネットワークを用いたエンドツーエンドモデリングスキームの成功により、より高度で構造化された実用的なデータへの拡張が可能になった。 本稿では,ベクトルデータ表現,空間データの予測モデル,コンピュータビジョン,信号処理,経験科学など,最近のベクトル場の計算ツールについて述べる。
  論文  参考訳（メタデータ） (2020-09-01T17:07:29Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)
• Semi-supervised Grasp Detection by Representation Learning in a Vector Quantized Latent Space [1.3048920509133808]
  本稿では,半教師付き学習に基づく把握検出手法を提案する。 我々の知る限りでは、変分オートエンコーダ(VAE)がロボットグリップ検出の分野に応用されたのはこれが初めてである。 このモデルでは、未ラベル画像を使用しない既存の手法に比べて、グリップを改善するために大幅に性能が向上する。
  論文  参考訳（メタデータ） (2020-01-23T12:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。