論文の概要: Understanding Mamba-3 Through Oscillatory Dynamics

• arxiv url: http://arxiv.org/abs/2610.13341v1
• Date: Fri, 09 Oct 2026 10:16:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.521912
• Title: Understanding Mamba-3 Through Oscillatory Dynamics
• Title（参考訳）: 振動ダイナミクスによるマンバ3の理解
• Abstract要約: Mamba-3は入力依存のローテーションをリカレントステート更新に導入する。 我々はこれらのロ-テイションを、損傷の少ない2階力学と解釈する。
• 参考スコア（独自算出の注目度）: 22.014571549432006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mamba-3 introduces input-dependent rotations into recurrent state updates, but their contribution beyond state retention remains unclear. We interpret these ro- tations as underdamped second-order dynamics, providing a framework for in- vestigating the role of oscillation in sequence modeling. Controlled comparisons show that underdamped dynamics outperform non-oscillatory damping regimes on state-tracking tasks, while language-model pretraining demonstrates benefits for long-context prediction and length generalization. Interventions in pretrained models further establish the importance of learned phase, and state analysis sug- gests that rotation regulates how retained information combines with incoming up- dates. Taken together, these findings identify underdamped dynamics as a useful mechanism for recurrent computation and suggest that oscillation supports long- context processing by regulating how information accumulates.
• Abstract（参考訳）: Mamba-3は、入力依存のローテーションをリカレントステート更新に導入するが、状態保持以上の貢献は未だ不明である。 我々はこれらのロ-ツインをアンダーダムド2階力学と解釈し、シーケンスモデリングにおける振動の役割を推論する枠組みを提供する。 制御された比較では、過度な力学は状態追跡タスクにおいて非振動減衰法よりも優れており、一方言語モデル事前学習は長文予測と長さ一般化の利点を示している。 事前訓練されたモデルの介入は、学習フェーズの重要性をさらに確立し、状態分析の汚職は、保持された情報が受信した最新日とどのように組み合わさるかを規制する。 これらの知見は, 繰り返し計算に有用なメカニズムとして, 過小評価された力学を同定し, 情報蓄積の制御により, 振動が長期処理を支援することを示唆している。

関連論文リスト

• Correct then Forecast: Observer State-Space Models for Time Series Forecasting [3.810388351528255]
  時系列予測のためのオブザーバ状態空間モデル(OSSM)を紹介する。 OSSMは測定同化から潜在状態の伝播を分離する。 また,OSSMは,対応するSSMベースラインと同じパラメータ数とトレーニング設定を維持しつつ,大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2026-09-27T13:40:42Z)
• Hamiltonian Spectral-Temporal Dissipative Dynamics for Sequential Recommendation [4.649779668774962]
  本稿では,ハミルトンスペクトルレコメンダ (HSR) を導入し, 選好進化を散逸するハミルトン系として再放送する。 HSRは、最先端のトランスフォーマーベースおよびステートスペースモデル(SSM)ベースのレコメンデータよりも一貫して優れている。
  論文  参考訳（メタデータ） (2026-08-26T13:04:04Z)
• Emergent Latent-State Computation under Stochastic Volatility [3.8881341075549947]
  本研究では, 雑音下, 部分的に観察された潜在力学を内部的に表現するモデルについて検討した。 アーキテクチャ、損失、出力ヘッド全体にわたって、我々は2段階の計算の証拠を見つけ出す。 これらの結果は、ボラティリティモデルが雑音の潜在力学と部分観測可能性の下での解釈可能性に有用なベンチマークを提供することを示唆している。
  論文  参考訳（メタデータ） (2026-07-28T08:49:48Z)
• Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting [64.2640656619583]
  時系列基礎モデル (TSFM) は, 大規模事前学習と検索強化予測により, ゼロショット予測性能が向上した。 本稿では時系列予測のための検索誘導不変動的分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-24T07:31:55Z)
• Model-Based Reinforcement Learning for Control under Time-Varying Dynamics [40.96573079787976]
  時間変動力学下での制御のための強化学習について検討する。 適応型データバッファ機構を用いた実用的な楽観的モデルベース強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-04-02T16:52:59Z)
• KoopGen: Koopman Generator Networks for Representing and Predicting Dynamical Systems with Continuous Spectra [65.11254608352982]
  生成元をベースとしたニューラル・クープマン・フレームワークを導入し,構造的かつ状態に依存したクープマン・ジェネレータの表現を通じて動的にモデル化する。 固有のカルテス分解をスキュー結合および自己結合成分に利用することにより、KoopGenは可逆的な散逸から保守的な輸送を分離する。
  論文  参考訳（メタデータ） (2026-02-15T06:32:23Z)
• Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models [0.8694591156258423]
  大規模言語モデルは高次元内部力学を用いてテキスト生成を行う。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 本稿では,自己回帰生成中のアクティベーション時系列から計算した複合動的計量について論じる。
  論文  参考訳（メタデータ） (2026-01-11T21:57:52Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。