論文の概要: SaFARi: State-Space Models for Frame-Agnostic Representation

• arxiv url: http://arxiv.org/abs/2505.08977v1
• Date: Tue, 13 May 2025 21:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.299767
• Title: SaFARi: State-Space Models for Frame-Agnostic Representation
• Title（参考訳）: SaFARi:フレームに依存しない表現のための状態空間モデル
• Authors: Hossein Babaei, Mel White, Sina Alemohammad, Richard G. Baraniuk,
• Abstract要約: State-Space Models (SSM) は、オンライン機能のための強力なツールとして再登場し、長距離依存データのための機械学習モデルのバックボーンとなった。 本稿では,SSMをフレームやベースで構築する手法について述べる。 このフレームワークは、HiPPOとして知られるアプローチを包含するが、SSMアーキテクチャ内の他の可能な「種」の無限の多様性も許容する。
• 参考スコア（独自算出の注目度）: 22.697360024988484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-Space Models (SSMs) have re-emerged as a powerful tool for online function approximation, and as the backbone of machine learning models for long-range dependent data. However, to date, only a few polynomial bases have been explored for this purpose, and the state-of-the-art implementations were built upon the best of a few limited options. In this paper, we present a generalized method for building an SSM with any frame or basis, rather than being restricted to polynomials. This framework encompasses the approach known as HiPPO, but also permits an infinite diversity of other possible "species" within the SSM architecture. We dub this approach SaFARi: SSMs for Frame-Agnostic Representation.
• Abstract（参考訳）: State-Space Models (SSM) は、オンライン関数近似の強力なツールとして再登場し、長距離依存データのための機械学習モデルのバックボーンとなった。 しかし、現在までこの目的のために数個の多項式基底しか探索されておらず、最先端の実装はいくつかの限られた選択肢のベストに基づいて構築されている。 本稿では,多項式に制限されるのではなく,任意のフレームやベースでSSMを構築するための一般化手法を提案する。 このフレームワークは、HiPPOとして知られるアプローチを包含するが、SSMアーキテクチャ内の他の可能な「種」の無限の多様性も許容する。 フレームに依存しない表現のためのSSM。

関連論文リスト

• Multi-convex Programming for Discrete Latent Factor Models Prototyping [8.322623345761961]
  本稿では,CVXPYをベースとした汎用フレームワークを提案する。 我々のフレームワークはフレキシブルで、DLFMパラメータや潜在要因に対する正規化用語と制約の統合を本質的にサポートしています。
  論文  参考訳（メタデータ） (2025-04-02T07:33:54Z)
• Closed-form merging of parameter-efficient modules for Federated Continual Learning [9.940242741914748]
  一度に1つのLoRA行列をトレーニングする交代最適化戦略であるLoRMを導入する。 提案手法をFCIL(Federated Class-Incremental Learning)に適用する。 本手法は,さまざまなFCILシナリオにおける最先端性能を示す。
  論文  参考訳（メタデータ） (2024-10-23T15:30:13Z)
• Parameter-Efficient Fine-Tuning of State Space Models [10.817729275974829]
  Deep State Space Models (SSM) は、言語モデリングの強力なツールとなり、シーケンス長で高いパフォーマンスと線形スケーラビリティを提供する。 本稿では,パラメータ効率のよい微調整法(PEFT)のSSMモデルへの適用について検討する。 SSMモジュールに適したPEFT法であるスパース次元チューニング(SDT)を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:30:28Z)
• Explaining Modern Gated-Linear RNNs via a Unified Implicit Attention Formulation [54.50526986788175]
  効率的なシーケンスモデリングの最近の進歩は、Mamba、RWKV、および様々なゲートRNNのような注意のないレイヤーを生み出している。 我々はこれらのモデルの統一的なビューを示し、暗黙の因果自己注意層のような層を定式化する。 筆者らのフレームワークは,異なるレイヤに対する類似の基盤となるメカニズムを比較検討し,説明可能性の手法を直接適用する手段を提供する。
  論文  参考訳（メタデータ） (2024-05-26T09:57:45Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• Deep Conditional Transformation Models [0.0]
  特徴集合上の結果変数条件の累積分布関数(CDF)を学習することは依然として困難である。 条件変換モデルは、条件付きCDFの大規模なクラスをモデル化できる半パラメトリックなアプローチを提供する。 我々は,新しいネットワークアーキテクチャを提案し,異なるモデル定義の詳細を提供し,適切な制約を導出する。
  論文  参考訳（メタデータ） (2020-10-15T16:25:45Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。