論文の概要: Demystifying the Token Dynamics of Deep Selective State Space Models

• arxiv url: http://arxiv.org/abs/2410.03292v1
• Date: Fri, 4 Oct 2024 10:06:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 23:18:35.983279
• Title: Demystifying the Token Dynamics of Deep Selective State Space Models
• Title（参考訳）: 深部選択状態空間モデルのトーケンダイナミクスのデミステレーション
• Authors: Thieu N Vo, Tung D. Pham, Xin T. Tong, Tan Minh Nguyen,
• Abstract要約: SSM(Selective State Space Model)は、シーケンシャルなデータモデリングの有効性で有名になった。 その卓越した経験的性能にもかかわらず、深い選択性SSMに関する包括的な理論的理解はいまだ解明されていない。 本稿では,事前学習したマンバモデルにおけるトークンの動的特性について検討する。
• 参考スコア（独自算出の注目度）: 3.829322478948515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selective state space models (SSM), such as Mamba, have gained prominence for their effectiveness in modeling sequential data. Despite their outstanding empirical performance, a comprehensive theoretical understanding of deep selective SSM remains elusive, hindering their further development and adoption for applications that need high fidelity. In this paper, we investigate the dynamical properties of tokens in a pre-trained Mamba model. In particular, we derive the dynamical system governing the continuous-time limit of the Mamba model and characterize the asymptotic behavior of its solutions. In the one-dimensional case, we prove that only one of the following two scenarios happens: either all tokens converge to zero, or all tokens diverge to infinity. We provide criteria based on model parameters to determine when each scenario occurs. For the convergent scenario, we empirically verify that this scenario negatively impacts the model's performance. For the divergent scenario, we prove that different tokens will diverge to infinity at different rates, thereby contributing unequally to the updates during model training. Based on these investigations, we propose two refinements for the model: excluding the convergent scenario and reordering tokens based on their importance scores, both aimed at improving practical performance. Our experimental results validate these refinements, offering insights into enhancing Mamba's effectiveness in real-world applications.
• Abstract（参考訳）: Mamba のような選択状態空間モデル (SSM) は、シーケンシャルなデータモデリングの有効性で有名になった。 その卓越した経験的性能にもかかわらず、深い選択性を持つSSMの包括的な理論的理解は、高い忠実性を必要とするアプリケーションに対するさらなる開発と採用を妨げるままである。 本稿では,事前学習したマンバモデルにおけるトークンの動的特性について検討する。 特に,マンバモデルの連続時間限界を規定する力学系を導出し,その解の漸近挙動を特徴づける。 一次元の場合、以下の2つのシナリオのうち、すべてのトークンが 0 に収束するか、またはすべてのトークンが無限大に分岐するかのどちらかである。 各シナリオがいつ発生するかを決定するために、モデルパラメータに基づいた基準を提供する。 収束シナリオに対しては、このシナリオがモデルの性能に悪影響を及ぼすことを実証的に検証する。 分岐シナリオでは、異なるトークンが異なるレートで無限大に分岐し、モデルトレーニング中の更新に不平等に寄与することを証明する。 これらの調査に基づき,本モデルでは,収束シナリオを除外し,重要なスコアに基づいてトークンを並べ替える2つの改良点を提案する。 実世界の応用において,Mambaの有効性を高めるための洞察を提供するとともに,これらの改良を検証した。

関連論文リスト

• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は言語モデル(LM)における多くの未理解の欠点と関連している 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 我々は、さらなるトレーニングや最適化を必要とせず、トークン化バイアスを除去する次世代サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• When predict can also explain: few-shot prediction to select better neural latents [3.6218162133579703]
  基礎的真理をより正確に反映した潜伏変数を求めるために考案された新しい予測指標を提案する。 基底的真理が欠如している場合には、外部ダイナミクスを定量化するためのプロキシ測度を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:48:30Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• A prediction and behavioural analysis of machine learning methods for modelling travel mode choice [0.26249027950824505]
  我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。 その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。 MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
  論文  参考訳（メタデータ） (2023-01-11T11:10:32Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• A Twin Neural Model for Uplift [59.38563723706796]
  Upliftは条件付き治療効果モデリングの特定のケースです。 相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。 本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
  論文  参考訳（メタデータ） (2021-05-11T16:02:39Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Autoregressive Asymmetric Linear Gaussian Hidden Markov Models [1.332091725929965]
  非対称隠れマルコフモデルは、プロセスのトレンドを潜在変数として表現できるフレームワークを提供する。 提案モデルに適合するために,推論,隠蔽状態の復号化,パラメータ学習をいかに適応させるかを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。