論文の概要: Connecting Neural Models Latent Geometries with Relative Geodesic Representations
- arxiv url: http://arxiv.org/abs/2506.01599v1
- Date: Mon, 02 Jun 2025 12:34:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:34.378134
- Title: Connecting Neural Models Latent Geometries with Relative Geodesic Representations
- Title（参考訳）: 相対測地表現を用いた潜在測地モデルの接続
- Authors: Hanlin Yu, Berfin Inal, Georgios Arvanitidis, Soren Hauberg, Francesco Locatello, Marco Fumero,
- Abstract要約: 遅延構造を異なる潜在空間間で共有する場合、表現間の相対距離を歪みまで保存できることが示される。
異なるニューラルモデルは、ほぼ同じ基礎多様体をパラメータ化し、プルバック計量に基づく表現を導入すると仮定する。
本手法は,オートエンコーダと視覚基盤識別モデルを対象として,モデルの縫合と検索のタスクについて検証する。
- 参考スコア（独自算出の注目度）: 21.71782603770616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural models learn representations of high-dimensional data on low-dimensional manifolds. Multiple factors, including stochasticities in the training process, model architectures, and additional inductive biases, may induce different representations, even when learning the same task on the same data. However, it has recently been shown that when a latent structure is shared between distinct latent spaces, relative distances between representations can be preserved, up to distortions. Building on this idea, we demonstrate that exploiting the differential-geometric structure of latent spaces of neural models, it is possible to capture precisely the transformations between representational spaces trained on similar data distributions. Specifically, we assume that distinct neural models parametrize approximately the same underlying manifold, and introduce a representation based on the pullback metric that captures the intrinsic structure of the latent space, while scaling efficiently to large models. We validate experimentally our method on model stitching and retrieval tasks, covering autoencoders and vision foundation discriminative models, across diverse architectures, datasets, and pretraining schemes.
- Abstract（参考訳）: ニューラルネットワークは低次元多様体上の高次元データの表現を学習する。
トレーニングプロセスの確率性、モデルアーキテクチャ、追加の帰納的バイアスを含む複数の要因は、同じデータ上で同じタスクを学習した場合でも、異なる表現を誘導する可能性がある。
しかし、最近、異なる潜在空間間で潜在構造が共有されているとき、表現間の相対距離を歪みまで保存できることが示されている。
このアイデアに基づいて、ニューラルネットワークの潜在空間の微分幾何学的構造を利用して、類似したデータ分布で訓練された表現空間間の変換を正確に捉えることができることを実証する。
具体的には、異なるニューラルモデルは、ほぼ同じ基底多様体をパラメータ化し、大きなモデルに対して効率的にスケーリングしながら、潜在空間の内在的構造をキャプチャするプルバック計量に基づく表現を導入すると仮定する。
提案手法は,多種多様なアーキテクチャ,データセット,事前学習スキームを対象とし,オートエンコーダと視覚基盤識別モデルについて実験的に検証する。
関連論文リスト
- Linear Representation Transferability Hypothesis: Leveraging Small Models to Steer Large Models [6.390475802910619]
同一データ上で訓練されたモデル間で学習された表現は、基本特徴の近辺集合の線形結合として表現できることを示す。
これらの基本機能は、学習タスク自体を基盤とし、スケールに関係なく、モデル間で一貫性を維持します。
論文 参考訳（メタデータ） (2025-05-31T17:45:18Z) - Latent Variable Sequence Identification for Cognitive Models with Neural Network Estimators [7.7227297059345466]
本稿では,ニューラルベイズ推定を拡張して,実験データと対象変数空間との直接マッピングを学習する手法を提案する。
我々の研究は、リカレントニューラルネットワークとシミュレーションベースの推論を組み合わせることで、潜在変数配列を特定することで、研究者がより広範な認知モデルにアクセスできるようになることを強調している。
論文 参考訳（メタデータ） (2024-06-20T21:13:39Z) - Bayesian Unsupervised Disentanglement of Anatomy and Geometry for Deep Groupwise Image Registration [50.62725807357586]
本稿では,マルチモーダル群画像登録のための一般ベイズ学習フレームワークを提案する。
本稿では,潜在変数の推論手順を実現するために,新しい階層的変分自動符号化アーキテクチャを提案する。
心臓、脳、腹部の医療画像から4つの異なるデータセットを含む,提案された枠組みを検証する実験を行った。
論文 参考訳（メタデータ） (2024-01-04T08:46:39Z) - Geometric Neural Diffusion Processes [55.891428654434634]
拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。
これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
論文 参考訳（メタデータ） (2023-07-11T16:51:38Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Similarity of Neural Architectures using Adversarial Attack Transferability [47.66096554602005]
ニューラルネットワーク間の定量的かつスケーラブルな類似度尺度を設計する。
我々は69の最先端画像ネット分類器を大規模に解析する。
我々の結果は、異なるコンポーネントを持つ多様なニューラルアーキテクチャの開発がなぜ必要かについての洞察を提供する。
論文 参考訳（メタデータ） (2022-10-20T16:56:47Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Relative representations enable zero-shot latent space communication [19.144630518400604]
ニューラルネットワークは、高次元空間に横たわるデータ多様体の幾何学的構造を潜在表現に埋め込む。
ニューラルネットワークがこれらの相対表現をどのように活用して、実際に潜時等尺不変性を保証するかを示す。
論文 参考訳（メタデータ） (2022-09-30T12:37:03Z) - On the Symmetries of Deep Learning Models and their Internal
Representations [1.418465438044804]
我々は、モデルのファミリーのアーキテクチャから生じる対称性と、そのファミリーの内部データ表現の対称性を結びつけることを目指している。
我々の研究は、ネットワークの対称性が、そのネットワークのデータ表現の対称性に伝播されることを示唆している。
論文 参考訳（メタデータ） (2022-05-27T22:29:08Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Lossless Compression of Structured Convolutional Models via Lifting [14.63152363481139]
我々は, 情報を失うことなく, 対称性を検出し, ニューラルネットワークを圧縮する, シンプルで効率的な手法を提案する。
このような圧縮が構造的畳み込みモデルの大幅な高速化につながることを実験を通じて実証する。
論文 参考訳（メタデータ） (2020-07-13T08:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。