論文の概要: Uncovering the Latent Potential of Deep Intermediate Representations

• arxiv url: http://arxiv.org/abs/2605.23033v1
• Date: Thu, 21 May 2026 20:58:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.097833
• Title: Uncovering the Latent Potential of Deep Intermediate Representations
• Title（参考訳）: 深部中間表現の潜在可能性を明らかにする
• Authors: Arnesh Batra, Arush Gumber, Aniket Khandelwal, Jashn Khemani, Anubha Gupta,
• Abstract要約: タスク関連情報は,非単調に層に分散し,ナブアグリゲーションによって回復できないことを示す。 本稿では,タスク識別サブ空間を識別する構成的スペクトル法であるレイヤワイズ最適埋め込み選択(LOES)を紹介する。 提案手法は,意味的因子を層に分散させることで,言語間およびモーダル間の解釈可能性の分析を可能にする。
• 参考スコア（独自算出の注目度）: 16.988545433223933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundational Models pretrained on huge amount of data learn representations that evolve across depth, forming a hierarchy of embeddings with distinct semantic content and geometric structure. Contrary to the widespread practice of using only the final layer or shallow mixtures, we show that task-relevant information is distributed non-monotonically across layers and cannot be recovered by naïve aggregation. Through a geometric and empirical study across multiple modalities, we show that effective transfer depends on identifying which layers encode task-discriminative structure and how their embeddings are geometrically organized. We introduce Layer-wise Optimal Embedding Selection (LOES), a constructive spectral method that identifies task-discriminative subspaces by minimizing residual error under orthogonality and isotropy constraints. To align fine-tuning with this selection principle, we further propose Geometric Regularization Loss (GeoReg), which enforces a simplicial structure on class manifolds and stabilizes representation geometry during fine-tuning. Across a wide range of architectures, depths, modalities, and data regimes, LOES consistently outperforms standard baselines, with gains that grow as model depth increases. Beyond accuracy, our method reveals how semantic factors are distributed across layers, thereby enabling cross-lingual and cross-modal interpretability analyses. Together, our results provide strong evidence that layerwise embedding geometry is not incidental but central to how deep models represent and transfer knowledge.
• Abstract（参考訳）: 基礎モデルは、深さを越えて進化する膨大な量のデータ学習表現に基づいて事前訓練され、異なる意味的内容と幾何学的構造を持つ埋め込みの階層を形成する。 最終層や浅層混合物のみを用いるという一般的な実践とは対照的に,タスク関連情報は非単調に層に分散し,ナイーブ凝集によって回復できないことを示す。 複数のモードをまたいだ幾何学的および経験的研究を通して、効果的移動は、どの層がタスク識別構造をコードしているか、どのように埋め込みが幾何的に組織化されているかを識別することに依存することを示した。 直交性および等方性制約下での残差誤差を最小限に抑え,タスク識別部分空間を識別する構成的スペクトル法である層ワイズ最適埋め込み選択(LOES)を導入する。 この選択原理と整合性を持たせるために、クラス多様体上の単純構造を強制し、微調整中の表現幾何学を安定化する幾何正則化損失(GeoReg)を提案する。 幅広いアーキテクチャ、深さ、モダリティ、データレシエーションにおいて、LOESは標準ベースラインを一貫して上回り、モデルの深さが増加するにつれて増加します。 精度を超えて,本手法は意味的因子を層に分散させることで,言語間およびモーダル間の解釈可能性の分析を可能にする。 この結果から,層状埋め込み幾何は入射ではなく,深層モデルが知識の表現と伝達の方法の中心であるという強い証拠が得られた。

関連論文リスト

• SEMASIA: A Large-Scale Dataset of Semantically Structured Latent Representations [12.185380843937196]
  約1,700個の事前学習された視覚モデルから抽出した潜在表現の大規模コレクションであるSEMASIAを紹介する。 個々の潜在空間の概念的構造を解析し、一貫したプロトタイプのようなクラスタリングを示す。 プレトレーニングデータの複雑性,特殊化,伝達学習,拡張,モデルスケールが,埋め込みの幾何学的および探索的特性とどのように関係しているかを,大規模回帰分析により解析する。
  論文  参考訳（メタデータ） (2026-05-10T11:42:36Z)
• Anisotropic Modality Align [91.23979617826926]
  マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。 近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。 中心となる障害は、共有空間の永続的なモダリティギャップにある。
  論文  参考訳（メタデータ） (2026-05-08T14:53:24Z)
• A Deep Generative Approach to Stratified Learning [3.235435741494221]
  階層的学習は、様々な次元性、特異点、効率的なモデルの欠如のために困難である。 成層空間上の分布を学習するための2つの生成フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-04-12T13:56:59Z)
• Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。 近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。 我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
  論文  参考訳（メタデータ） (2026-04-01T14:32:15Z)
• GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
  テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。 本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-12T06:48:43Z)
• The Neural Differential Manifold: An Architecture with Explicit Geometric Structure [8.201374511929538]
  本稿では,その基本設計に幾何学的構造を明示的に組み込んだニューラルネットワークアーキテクチャであるニューラル微分マニフォールド(NDM)を紹介する。 我々は、より効率的な最適化の可能性、継続学習の強化、科学的発見と制御可能な生成モデルへの応用など、このアプローチの理論的利点を分析する。
  論文  参考訳（メタデータ） (2025-10-29T02:24:27Z)
• Surf-D: Generating High-Quality Surfaces of Arbitrary Topologies Using Diffusion Models [83.35835521670955]
  Surf-Dは任意の位相を持つ表面として高品質な3次元形状を生成する新しい方法である。 非符号距離場(UDF)を曲面表現として用いて任意の位相を許容する。 また、ポイントベースのAutoEncoderを用いて、UDFを正確に符号化するためのコンパクトで連続的な潜在空間を学習する新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-11-28T18:56:01Z)
• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。