論文の概要: Unraveling the Localized Latents: Learning Stratified Manifold Structures in LLM Embedding Space with Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2502.13577v1
• Date: Wed, 19 Feb 2025 09:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:59:23.801592
• Title: Unraveling the Localized Latents: Learning Stratified Manifold Structures in LLM Embedding Space with Sparse Mixture-of-Experts
• Title（参考訳）: 局所型潜伏剤の展開--スパースミキサーを用いたLLM埋め込み空間における成層多様体構造学習
• Authors: Xin Li, Anand Sarwate,
• Abstract要約: 大規模な言語モデルでは、埋め込みは入力データの難易度や領域によって異なる次元の局所多様体構造に存在していると推測する。 注意に基づくソフトゲーティングネットワークを組み込むことで,我々のモデルは入力データソースのアンサンブルのために,特別なサブマニフォールドを学習することを確認した。
• 参考スコア（独自算出の注目度）: 3.9426000822656224
• License:
• Abstract: However, real-world data often exhibit complex local structures that can be challenging for single-model approaches with a smooth global manifold in the embedding space to unravel. In this work, we conjecture that in the latent space of these large language models, the embeddings live in a local manifold structure with different dimensions depending on the perplexities and domains of the input data, commonly referred to as a Stratified Manifold structure, which in combination form a structured space known as a Stratified Space. To investigate the validity of this structural claim, we propose an analysis framework based on a Mixture-of-Experts (MoE) model where each expert is implemented with a simple dictionary learning algorithm at varying sparsity levels. By incorporating an attention-based soft-gating network, we verify that our model learns specialized sub-manifolds for an ensemble of input data sources, reflecting the semantic stratification in LLM embedding space. We further analyze the intrinsic dimensions of these stratified sub-manifolds and present extensive statistics on expert assignments, gating entropy, and inter-expert distances. Our experimental results demonstrate that our method not only validates the claim of a stratified manifold structure in the LLM embedding space, but also provides interpretable clusters that align with the intrinsic semantic variations of the input data.
• Abstract（参考訳）: しかし、実世界のデータはしばしば、埋め込み空間に滑らかな大域多様体を持つ単一モデルアプローチにおいて困難となる複雑な局所構造を示す。 本研究では、これらの大言語モデルの潜在空間において、埋め込みは入力データの複雑さや領域によって異なる次元の局所多様体構造(一般に成層多様体構造と呼ばれ、成層空間として知られる構造空間を形成する。 この構造的クレームの有効性を検討するために、各専門家が様々な空間レベルで簡単な辞書学習アルゴリズムを用いて実装されるMixture-of-Experts(MoE)モデルに基づく分析フレームワークを提案する。 注意に基づくソフトゲーティングネットワークを組み込むことで,LLM埋め込み空間における意味的階層化を反映して,入力データソースのアンサンブルのための特別なサブマニフォールドを学習できることを検証する。 さらに、これらの成層部分多様体の内在次元を解析し、専門家の割り当て、ゲーティングエントロピー、および専門家間距離に関する広範な統計を提示する。 実験により, LLM埋め込み空間における成層多様体構造の主張を検証できるだけでなく, 入力データの本質的な意味的変動と整合する解釈可能なクラスタも提供されることがわかった。

関連論文リスト

• Persistent Homology for Structural Characterization in Disordered Systems [3.3033726268021315]
  障害のあるシステムにおける局所的構造と大域的構造の両方を特徴付けるために,永続的ホモロジー(PH)に基づく統一的なフレームワークを提案する。 同じアルゴリズムとデータ構造を使って、ローカルとグローバルのディスクリプタを同時に生成できる。 粒子の再配置を予測し、大域的な位相を分類するのに非常に効果的で解釈可能であることが示されている。
  論文  参考訳（メタデータ） (2024-11-21T18:24:06Z)
• Entropic Optimal Transport Eigenmaps for Nonlinear Alignment and Joint Embedding of High-Dimensional Datasets [11.105392318582677]
  本稿では,理論的保証付きデータセットの整列と共同埋め込みの原理的アプローチを提案する。 提案手法は,2つのデータセット間のEOT計画行列の先頭特異ベクトルを利用して,それらの共通基盤構造を抽出する。 EOT計画では,高次元状態において,潜伏変数の位置で評価されたカーネル関数を近似することにより,共有多様体構造を復元する。
  論文  参考訳（メタデータ） (2024-07-01T18:48:55Z)
• Scalable manifold learning by uniform landmark sampling and constrained locally linear embedding [0.6144680854063939]
  本研究では,大規模・高次元データを効率的に操作できるスケーラブルな多様体学習法を提案する。 異なるタイプの合成データセットと実世界のベンチマークにおけるSCMLの有効性を実証的に検証した。 scMLはデータサイズや埋め込み次元の増大とともにスケールし、グローバル構造を保存する上で有望なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-01-02T08:43:06Z)
• Supervised Manifold Learning via Random Forest Geometry-Preserving Proximities [0.0]
  クラス条件付き多様体学習手法の弱点を定量的かつ視覚的に示す。 本稿では,ランダムな森の近さをデータジオメトリ保存した変種を用いて,教師付き次元減少のためのカーネルの代替選択を提案する。
  論文  参考訳（メタデータ） (2023-07-03T14:55:11Z)
• A Heat Diffusion Perspective on Geodesic Preserving Dimensionality Reduction [66.21060114843202]
  熱測地線埋め込みと呼ばれるより一般的な熱カーネルベースの多様体埋め込み法を提案する。 その結果,本手法は,地中真理多様体距離の保存において,既存の技術よりも優れていることがわかった。 また,連続体とクラスタ構造を併用した単一セルRNAシークエンシングデータセットに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-30T13:58:50Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Unveiling the Potential of Structure-Preserving for Weakly Supervised Object Localization [71.79436685992128]
  本稿では,WSOLの畳み込み機能に組み込まれた構造情報を完全に活用するための2段階構造保存アクティベーション(SPA)を提案する。 第1段階では、分類ネットワークによって引き起こされる構造ミス問題を軽減するために制限アクティベーションモジュール(ram)が設計されている。 第2段階では, 自己相関マップ生成(SCG)モジュールと呼ばれるプロセス後アプローチを提案し, 構造保存ローカライゼーションマップを得る。
  論文  参考訳（メタデータ） (2021-03-08T03:04:14Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)
• Variational Autoencoder with Learned Latent Structure [4.41370484305827]
  学習潜在構造を持つ変分オートエンコーダ(VAELLS)について紹介する。 VAELLS は、学習可能な多様体モデルを VAE の潜在空間に組み込む。 我々は、既知の潜在構造を持つ実例でモデルを検証し、実世界のデータセット上でその能力を実証する。
  論文  参考訳（メタデータ） (2020-06-18T14:59:06Z)
• Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
  より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。 本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
  論文  参考訳（メタデータ） (2020-04-20T09:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。