論文の概要: Distributed Learning with Selective State Space Models: Architecture-Aware Convergence Analysis

• arxiv url: http://arxiv.org/abs/2610.02659v1
• Date: Fri, 02 Oct 2026 01:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.155583
• Title: Distributed Learning with Selective State Space Models: Architecture-Aware Convergence Analysis
• Title（参考訳）: 選択状態空間モデルによる分散学習:アーキテクチャを考慮した収束解析
• Abstract要約: 状態空間モデル(SSM)は、線形時間列モデリングと逐次状態空間力学を組み合わせることで、変圧器に代わる魅力的な代替手段を提供する。 既存の標準フェデレーション学習法は主にアーキテクチャに依存しず、現代の選択型SSMを特徴付ける安定性、選択性、状態空間のパラメータ化を考慮しない。 単層および多層選択SSMに対するアーキテクチャ認識および滑らか性勾配境界を導出し,FedAvgおよびFedProxに対する収束境界を導出する。 本研究では,教師SSMが生成したシーケンスの単一層境界を,解析された繰り返しに追従する学習者を用いて数値的に検証する。
• 参考スコア（独自算出の注目度）: 28.53294084812961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern state space models (SSMs), such as Mamba2, provide a compelling alternative to transformers by combining linear-time sequence modeling with recurrent state-space dynamics. However, the behavior of SSMs in distributed learning settings remains poorly understood. In particular, the existing standard federated learning methods are largely architecture-agnostic, and do not account for the stability, selectivity, and state-space parameterization that characterize modern selective SSMs. To address this, we derive architecture-aware gradient and smoothness bounds for single- and multi-layer selective SSMs, and convergence bounds for FedAvg and FedProx, characterizing how recurrent stability, input-dependent discretization, and state projection norms affect federated optimization. We then numerically validate the single-layer bounds on sequences generated by a teacher SSM, using a learner that follows the analyzed recurrence. We use this analysis to formulate expectations about the effects of local training and client heterogeneity, and examine these expectations by comparing nine federated learning algorithms on Mamba2 language modeling across six text domains. These experiments illustrate how SSM-specific bounds can provide a basis for interpreting the behavior of practical federated learning algorithms.
• Abstract（参考訳）: Mamba2のような現代の状態空間モデル(SSM)は、線形時間列モデリングとリカレントな状態空間力学を組み合わせることで、変圧器に代わる魅力的な代替手段を提供する。 しかし、分散学習環境におけるSSMの挙動はいまだに理解されていない。 特に、既存の標準フェデレーション学習法はアーキテクチャに依存しず、現代の選択的SSMを特徴付ける安定性、選択性、状態空間のパラメータ化を考慮しない。 そこで我々は,FedAvgとFedProxのコンバージェンスバウンダと単一層および多層選択SSMのアーキテクチャ的勾配と滑らか性バウンダリを導出し,繰り返し安定性,入力依存離散化,状態予測ノルムがフェデレート最適化にどのように影響するかを特徴付ける。 次に,教師SSMが生成したシーケンスの単一層境界を,解析された繰り返しに追従する学習者を用いて数値的に検証する。 この分析を用いて、ローカルトレーニングとクライアントの不均一性の影響に関する期待を定式化し、6つのテキスト領域にわたるMamba2言語モデリングにおける9つのフェデレーション学習アルゴリズムを比較して、これらの期待を検証した。 これらの実験は、SSM固有の境界が、実践的フェデレーション学習アルゴリズムの振る舞いを解釈するための基盤となることを示す。

関連論文リスト

• MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
  状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。 本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
  論文  参考訳（メタデータ） (2025-12-29T19:36:28Z)
• Bridging Expressivity and Scalability with Adaptive Unitary SSMs [15.244653633181303]
  本稿では,適応ユニタリ状態空間モデル(Adaptive Unitary State Space Model, AUSSM)を紹介する。 AUSSMとそのハイブリッド変種であるMambaoutperformが、パリティやモジュラー算術といった形式的なタスクでSSMに先立つことを示す。 この結果から,ユニタリ反復は記号的および連続的シーケンスモデリングの両方において,強力かつ効率的な帰納的バイアスを与えることが示された。
  論文  参考訳（メタデータ） (2025-07-07T17:47:16Z)
• Message-Passing State-Space Models: Improving Graph Learning with Modern Sequence Modeling [19.10832920407789]
  我々は、メッセージパッシングニューラルネットワークフレームワークに直接、現代のSSMの鍵となる原則を組み込むことによって、新しい視点を導入する。 我々は,MP-SSMを用いて,メッセージパッシングのアーキテクチャ的単純さを保ちながら,効率よく,順列同変かつ長距離情報伝達を可能にする。
  論文  参考訳（メタデータ） (2025-05-24T14:53:07Z)
• Exemplar-Free Continual Learning for State Space Models [32.73275711666184]
  State-Space Models (SSM) は構造化された再帰で長距離の依存関係をキャプチャする。 彼らの進化する内部状態は、継続的学習の下でそれらを適応する上で困難を生じさせる。 Inf-SSMを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:59:13Z)
• On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages [56.22289522687125]
  SSM(Selective State-space Model)はTransformerの代替品である。 正規言語タスクにおける表現性や長さの一般化性能を解析する。 本稿では,Selective Dense State-Space Model (SD-SSM)を紹介する。
  論文  参考訳（メタデータ） (2024-12-26T20:53:04Z)
• Deep Learning-based Approaches for State Space Models: A Selective Review [15.295157876811066]
  状態空間モデル(SSM)は動的システム解析のための強力なフレームワークを提供する。 本稿では、SSMに対するディープニューラルネットワークに基づくアプローチの最近の進歩を選択的にレビューする。
  論文  参考訳（メタデータ） (2024-12-15T15:04:35Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。