論文の概要: Geometry-Preserving Aggregation for Mixture-of-Experts Embedding Models

• arxiv url: http://arxiv.org/abs/2602.14039v1
• Date: Sun, 15 Feb 2026 08:00:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.617279
• Title: Geometry-Preserving Aggregation for Mixture-of-Experts Embedding Models
• Title（参考訳）: 混合実験埋め込みモデルのための幾何保存アグリゲーション
• Authors: Sajjad Kachuee, Mohammad Sharifkhani,
• Abstract要約: Mixture-of-Experts (MoE) 埋め込みモデルは、重み付き線形和を用いて専門家の出力を合成し、埋め込み空間における線形部分空間構造を暗黙的に仮定する。 現代のMoE埋め込みモデルの幾何学的解析により、専門家の出力は密集ノルムと実質的な角分離によって特徴づけられる共有超球面多様体上にあることが明らかになった。 SBA(Spherical Barycentric Aggregation)は、ラジアル成分と角成分を分離し、既存のルーティング機構と完全に互換性を維持しながら超球面構造を維持する幾何学保存アグリゲーション演算子として導入された。
• 参考スコア（独自算出の注目度）: 4.125187280299246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) embedding models combine expert outputs using weighted linear summation, implicitly assuming a linear subspace structure in the embedding space. This assumption is shown to be inconsistent with the geometry of expert representations. Geometric analysis of a modern MoE embedding model reveals that expert outputs lie on a shared hyperspherical manifold characterized by tightly concentrated norms and substantial angular separation. Under this geometry, linear aggregation induces inward collapse toward the manifold interior, distorting vector magnitude and direction and reducing embedding comparability. To address this inconsistency, Spherical Barycentric Aggregation (SBA) is introduced as a geometry-preserving aggregation operator that separates radial and angular components to maintain hyperspherical structure while remaining fully compatible with existing routing mechanisms. Experiments on selected tasks from the Massive Text Embedding Benchmark (MTEB), including semantic similarity, clustering, and duplicate question detection, demonstrate consistent performance improvements with identical training cost and full stability. Additional geometric analyses confirm that SBA prevents aggregation-induced collapse and preserves hyperspherical consistency, highlighting the importance of geometry-aware aggregation in MoE embedding architectures.
• Abstract（参考訳）: Mixture-of-Experts (MoE) 埋め込みモデルは、重み付き線形和を用いて専門家の出力を合成し、埋め込み空間における線形部分空間構造を暗黙的に仮定する。 この仮定は、専門家表現の幾何学と矛盾することが示されている。 現代のMoE埋め込みモデルの幾何学的解析により、専門家の出力は密集ノルムと実質的な角分離によって特徴づけられる共有超球面多様体上にあることが明らかになった。 この幾何学の下では、線形集約は多様体の内部に向かって内向きに崩壊し、ベクトルの大きさと方向を歪ませ、埋め込みの可視性を減少させる。 この矛盾に対処するため、SBA (Spherical Barycentric Aggregation) は、既存のルーティング機構と完全に互換性を維持しつつ、超球面構造を維持するために半径成分と角成分を分離する幾何保存アグリゲーション演算子として導入された。 Massive Text Embedding Benchmark (MTEB) から選択されたタスクについての実験では、セマンティックな類似性、クラスタリング、重複した質問検出などがあり、同じトレーニングコストと完全な安定性で一貫したパフォーマンス改善が示されている。 追加の幾何学的分析により、SBAは凝集による崩壊を防ぎ、超球面整合性を維持することが確認され、MoE埋め込みアーキテクチャにおける幾何学的アグリゲーションの重要性が強調された。

関連論文リスト

• Rectifying Geometry-Induced Similarity Distortions for Real-World Aerial-Ground Person Re-Identification [4.039576422478934]
  航空地上人物再識別(AG-ReID)は、極端な視点と距離の相違により根本的な課題である。 既存の手法は幾何学的特徴学習や外観条件付きプロンプトに依存している。 Geometry-induced Query-Key Transformation (GIQT) は、カメラ幾何学におけるクエリキーの相互作用を条件に、類似性空間を補正する軽量な低ランクモジュールである。
  論文  参考訳（メタデータ） (2026-01-29T08:41:42Z)
• The Geometry of Machine Learning Models [0.0]
  本稿では,機械学習モデル解析のためのフレームワークを提案する。 ニューラルネットワークでは、プルバック操作を通じて層を通して幾何学的構造を追跡する微分形式アプローチを導入する。 数学的基礎に焦点が当てられているが、この幾何学的視点は、学習力学を理解するためのモデル解釈、正規化、診断ツールに対する新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2025-08-04T05:45:52Z)
• Enforcing Latent Euclidean Geometry in Single-Cell VAEs for Manifold Interpolation [79.27003481818413]
  離散的様相変分オートエンコーダの潜在多様体をユークリッド幾何学へ正規化する訓練フレームワークであるFlatVIを紹介する。 遅延空間の直線を復号化された単セル多様体上の測地線に近似させることで、FlatVIは下流アプローチとの整合性を高める。
  論文  参考訳（メタデータ） (2025-07-15T23:08:14Z)
• Harmonizing Geometry and Uncertainty: Diffusion with Hyperspheres [43.20744744438439]
  本稿では,超球面構造を指向性雑音に整合させ,クラス形状を保ち,角の不確実性を効果的に捉えるためにHyperSphereDiffを導入する。 4つのオブジェクトデータセットと2つの顔データセットの枠組みを評価し,角不確かさを組み込むことで,下層の超球面多様体をよりよく保存できることを示した。
  論文  参考訳（メタデータ） (2025-06-12T11:10:52Z)
• Geometry-Editable and Appearance-Preserving Object Compositon [67.98806888489385]
  汎用オブジェクト合成(GOC)は、対象オブジェクトを望まれる幾何学的性質を持つ背景シーンにシームレスに統合することを目的としている。 近年のアプローチは意味的埋め込みを導出し、それらを高度な拡散モデルに統合し、幾何学的に編集可能な生成を可能にする。 本稿では,まずセマンティックな埋め込みを活用して,所望の幾何学的変換を暗黙的にキャプチャするDistangled Geometry-editable and Outearance-Preserving Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2025-05-27T09:05:28Z)
• Cramer-Rao Bounds for Laplacian Matrix Estimation [56.1214184671173]
  クラマー・ラオ境界(CRB)の閉形式行列式をラプラシア行列推定に特化して導出した。 電力系統における(i)トポロジー同定,(ii)拡散モデルにおけるグラフフィルタ同定,(iii)ラプラシアン制約下でのガウスマルコフ確率場における精度行列推定の3つの代表的応用について示す。
  論文  参考訳（メタデータ） (2025-04-06T18:28:31Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• Shape And Structure Preserving Differential Privacy [70.08490462870144]
  正方形距離関数の勾配がラプラス機構よりも感度をよりよく制御できることを示す。 また,2乗距離関数の勾配を用いることで,ラプラス機構よりも感度を制御できることを示す。
  論文  参考訳（メタデータ） (2022-09-21T18:14:38Z)
• Manifold Alignment-Based Multi-Fidelity Reduced-Order Modeling Applied to Structural Analysis [0.8808021343665321]
  本研究は,最近開発されたパラメトリック,非貫入性,多次元縮小次モデリング法の高次元変位場および応力場への適用について述べる。 その結果、不整合格子を用いた構造シミュレーションから得られる出力、あるいは関連する異なる位相は、容易に単一の予測モデルに組み合わされることが示されている。 新しいマルチフィデリティ縮小次数モデルでは,単一フィデリティモデルと比較して計算コストが低い場合に,比較的高い予測精度が得られる。
  論文  参考訳（メタデータ） (2022-06-14T15:28:21Z)
• A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
  ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。 我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
  論文  参考訳（メタデータ） (2021-05-06T17:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。