論文の概要: Unlocking the Secrets of Linear Complexity Sequence Model from A Unified Perspective
- arxiv url: http://arxiv.org/abs/2405.17383v1
- Date: Mon, 27 May 2024 17:38:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 14:14:13.156964
- Title: Unlocking the Secrets of Linear Complexity Sequence Model from A Unified Perspective
- Title（参考訳）: 統一的な視点から線形複素数列モデルの秘密を解き明かす
- Authors: Zhen Qin, Xuyang Shen, Weigao Sun, Dong Li, Stan Birchfield, Richard Hartley, Yiran Zhong,
- Abstract要約: LCSM(Linear Complexity Sequence Model)は、線形複雑性を伴う様々なシーケンスモデリング手法を単位とする。
これらのモデルのモデリングプロセスは、拡張、Oscillation、Shrinkの3つの異なるステージに区分する。
異なるステージ設定が言語モデリングおよび検索タスクに与える影響を分析する実験を行う。
- 参考スコア（独自算出の注目度）: 26.479602180023125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present the Linear Complexity Sequence Model (LCSM), a comprehensive solution that unites various sequence modeling techniques with linear complexity, including linear attention, state space model, long convolution, and linear RNN, within a single framework. The goal is to enhance comprehension of these models by analyzing the impact of each component from a cohesive and streamlined viewpoint. Specifically, we segment the modeling processes of these models into three distinct stages: Expand, Oscillation, and Shrink (EOS), with each model having its own specific settings. The Expand stage involves projecting the input signal onto a high-dimensional memory state. This is followed by recursive operations performed on the memory state in the Oscillation stage. Finally, the memory state is projected back to a low-dimensional space in the Shrink stage. We perform comprehensive experiments to analyze the impact of different stage settings on language modeling and retrieval tasks. Our results show that data-driven methods are crucial for the effectiveness of the three stages in language modeling, whereas hand-crafted methods yield better performance in retrieval tasks.
- Abstract（参考訳）: 本稿では,線形注意,状態空間モデル,長畳み込み,線形RNNなど,様々なシーケンスモデリング手法と線形複雑度を結合した総合的ソリューションLCSMを提案する。
目的は、結合的で合理化された視点から各コンポーネントの影響を分析することで、これらのモデルの理解を深めることである。
具体的には、これらのモデルのモデリングプロセスを、拡張、オシレーション、およびShrink(EOS)の3つの異なるステージに区分し、それぞれ独自の設定を持つ。
拡張ステージでは、入力信号を高次元のメモリ状態に投影する。
その後、Oscillationステージのメモリ状態で再帰操作が行われる。
最後に、記憶状態をShrinkステージ内の低次元空間に投影する。
我々は、言語モデリングと検索タスクにおける異なるステージ設定の影響を分析するための総合的な実験を行う。
この結果から,データ駆動手法は言語モデリングの3段階の有効性に欠かせないが,手作り手法では検索タスクの性能が向上することが示唆された。
関連論文リスト
- Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。
現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。
本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
論文 参考訳（メタデータ） (2025-01-16T13:17:24Z) - Towards Efficient Modelling of String Dynamics: A Comparison of State Space and Koopman based Deep Learning Methods [8.654571696634825]
State Space Models (SSM) と Koopman に基づくディープラーニング手法は、線形および非線形の剛弦の力学をモデル化する。
以上の結果から,提案したクープマンモデルが,長周期モデリングにおける非線形ケースにおいて,他の既存手法と同等以上の性能を示すことが示唆された。
本研究は、これらの手法と過去の手法の比較概要を提供し、モデル改善のための革新的な戦略を導入することにより、力学系の物理モデリングに関する洞察を貢献する。
論文 参考訳（メタデータ） (2024-08-29T15:55:27Z) - Three Mechanisms of Feature Learning in the Exact Solution of a Latent Variable Model [0.34530027457862006]
有限幅の1層線形モデルの学習力学を同定し,正確に解く。
提案手法は,(1)アライメントによる学習,(2)アライメントによる学習,(3)再スケーリングによる学習という3つの新しい特徴学習メカニズムを同定する。
対照的に、これらのメカニズムはモデルのカーネル構造には存在しない。
論文 参考訳（メタデータ） (2024-01-13T14:21:46Z) - Diffusion Action Segmentation [63.061058214427085]
本稿では,このような反復的洗練の本質的な精神を共用した拡散モデルによる新しい枠組みを提案する。
このフレームワークでは、入力された映像の特徴を条件としてランダムノイズから行動予測を反復的に生成する。
論文 参考訳（メタデータ） (2023-03-31T10:53:24Z) - An end-to-end multi-scale network for action prediction in videos [31.967024536359908]
エンド・ツー・エンド方式で部分的なビデオのアクション・クラスを予測するための効率的なマルチスケール・ネットワークを開発した。
我々のE2EMSNetは、BIT、HMDB51、UCF101という3つの挑戦的なデータセットで評価されている。
論文 参考訳（メタデータ） (2022-12-31T06:58:41Z) - Unifying Flow, Stereo and Depth Estimation [121.54066319299261]
本稿では3つの動作と3次元知覚タスクのための統一的な定式化とモデルを提案する。
これら3つのタスクを、統一された高密度対応マッチング問題として定式化する。
我々のモデルは、モデルアーキテクチャとパラメータがタスク間で共有されているため、自然にクロスタスク転送を可能にします。
論文 参考訳（メタデータ） (2022-11-10T18:59:54Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Dynamical Deep Generative Latent Modeling of 3D Skeletal Motion [15.359134407309726]
本モデルでは,高度に相関した骨格データを時間的変化の空間的基礎の集合に分解する。
これにより、3次元ポーズデータのダイナミックスにおいて意味のある内在状態を解析する動的深部生成潜在モデルが得られる。
論文 参考訳（メタデータ） (2021-06-18T23:58:49Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳（メタデータ） (2021-02-04T14:26:42Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。