論文の概要: Dynamic Subspace Composition: Efficient Adaptation via Contractive Basis Expansion

• arxiv url: http://arxiv.org/abs/2512.23448v1
• Date: Mon, 29 Dec 2025 13:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.510615
• Title: Dynamic Subspace Composition: Efficient Adaptation via Contractive Basis Expansion
• Title（参考訳）: 動的部分空間構成:収縮基底展開による効率的な適応
• Authors: Vladimer Khasia,
• Abstract要約: エキスパートの混合(MoE)モデルはキャパシティをスケールするが、しばしば表現の崩壊と勾配の不安定性に悩まされる。 本研究では,共有ベースバンクの状態依存的,スパース展開を通じてコンテキスト依存重みを近似するフレームワークである動的部分空間合成(DSC)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture of Experts (MoE) models scale capacity but often suffer from representation collapse and gradient instability. We propose Dynamic Subspace Composition (DSC), a framework that approximates context-dependent weights via a state-dependent, sparse expansion of a shared basis bank. Formally, DSC models the weight update as a residual trajectory within a Star- Shaped Domain, employing a Magnitude-Gated Simplex Interpolation to ensure continuity at the identity. Unlike standard Mixture-of-LoRAs, which incurs O(M rd) parameter complexity by retrieving independent rank-r matrices, DSC constructs a compositional rank-K approximation from decoupled unit-norm basis vectors. This reduces parameter complexity to O(M d) and memory traffic to O(Kd), while Frame-Theoretic regularization and spectral constraints provide rigorous worst-case bounds on the dynamic update. The code is available at https://github. com/VladimerKhasia/DSC
• Abstract（参考訳）: エキスパートの混合(MoE)モデルはキャパシティをスケールするが、しばしば表現の崩壊と勾配の不安定性に悩まされる。 本研究では,共有ベースバンクの状態依存的スパース展開を通じてコンテキスト依存重みを近似するフレームワークである動的部分空間合成(DSC)を提案する。 正式には、DSCは重み更新を星形領域内の残留軌道としてモデル化し、そのアイデンティティの連続性を保証するために、Magnitude-Gated Simplex Interpolationを用いている。 独立階数-r行列を検索することで O(M rd) パラメータの複雑さを引き起こす標準のmixture-of-LoRAとは異なり、DSCは分離単位ノルム基底ベクトルから構成階数-K近似を構築する。 これはパラメータの複雑さをO(M d)に減らし、メモリトラフィックをO(Kd)に減らします。 コードはhttps://github.orgで公開されている。 https://aws.com/VladimerKhasia/DSC

関連論文リスト

• Structured Sparse Transition Matrices to Enable State Tracking in State-Space Models [68.31088463716269]
  状態空間モデル(SSM)における遷移行列の構造的スパースパラメトリゼーションを提案する。 我々の方法PD-SSMは、遷移行列をカラム1ホット行列(P$)と複素数値対角行列(D$)の積としてパラメータ化する。 このモデルは、様々なFSA状態追跡タスクにおいて、現代のSSMの多種多様なバリエーションを著しく上回っている。
  論文  参考訳（メタデータ） (2025-09-26T12:46:30Z)
• DMSC: Dynamic Multi-Scale Coordination Framework for Time Series Forecasting [24.202509006348862]
  時系列予測(TSF)は、さまざまなスケールにわたる複雑な時間的依存関係をモデル化する上で、永続的な課題に直面します。 マルチスケールパッチ分解ブロック(EMPD)、トライアドインタラクションブロック(TIB)、適応スケールルーティングMoEブロック(ASR-MoE)を備えた新しい動的マルチスケールコーディネーションフレームワーク(DMSC)を提案する。 EMPDは、指数関数的にスケールした粒度を持つ階層的なパッチにシーケンスを動的に分割する組み込みコンポーネントとして設計されている。 TIBは、各レイヤの分解された表現の中で、パッチ内、パッチ間、およびクロス変数の依存関係を共同でモデル化する。
  論文  参考訳（メタデータ） (2025-08-03T13:11:52Z)
• Exemplar-Free Continual Learning for State Space Models [32.73275711666184]
  State-Space Models (SSM) は構造化された再帰で長距離の依存関係をキャプチャする。 彼らの進化する内部状態は、継続的学習の下でそれらを適応する上で困難を生じさせる。 Inf-SSMを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:59:13Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。