論文の概要: Timesteps of Mamba Align with Human Reading Times
- arxiv url: http://arxiv.org/abs/2606.29904v1
- Date: Mon, 29 Jun 2026 07:40:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.097612
- Title: Timesteps of Mamba Align with Human Reading Times
- Title（参考訳）: マンバアライメントの時間経過と読解時間
- Authors: Yuji Yamamoto, Shinnosuke Isono, Yoshinobu Kawahara, Sho Yokoi,
- Abstract要約: マンバ語からの単語毎のタイムステップは、人間の読解時間の重要な予測因子であることを示す。
我々は、Mambaが人間のリアルタイム言語処理を常に更新されたメモリで見るための、新しい価値あるレンズとして機能できることを示唆している。
- 参考スコア（独自算出の注目度）: 14.276663616910936
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study demonstrates an alignment of per-word processing time in a popular state-space language model Mamba and human readers. In Mamba, the recurrent state transition at each layer conceptually takes some duration of time, the discretization timestep $Δ_t$, determined dynamically in response to the input. Using a naturalistic reading dataset, we show that the per-word timestep from Mamba is a significant predictor of human reading times, and remains significant even when known predictors such as GPT-2 surprisal are controlled for. We further suggest, through formal analysis of Mamba's architecture and internal dynamics, that Mamba can serve as a new, valuable lens to look at human real-time language processing with ever-updated memory, because it allows us to look at how each module (layer) weighs short- and long-term information retention, and how noise may interact with dynamic, continuous memory representation. Code is available online.
- Abstract（参考訳）: 本研究では,一般的な状態空間言語モデルであるMambaと人間読者における単語単位の処理時間のアライメントを示す。
マンバでは、各層におけるリカレント状態遷移は、その入力に応じて動的に決定される離散化時間ステップ$Δ_t$という概念的に一定の時間を要する。
自然主義的な読解データセットを用いて,マンバからの単語毎のタイムステップが人間の読解時間の重要な予測因子であることを示し,GPT-2 sprisal などの既知の予測器が制御されている場合でも有意であることを示す。
さらに、Mambaのアーキテクチャと内部ダイナミクスを形式的に分析することで、Mambaは、更新されたメモリで人間のリアルタイム言語処理を見るために、新しい価値あるレンズとして機能し、各モジュール(レイヤ)が短時間および長期間の情報保持をどのように重み付けているか、そしてノイズが動的で連続的なメモリ表現とどのように相互作用するかを知ることができることを示唆している。
コードはオンラインで入手できる。
関連論文リスト
- TSkel-Mamba: Temporal Dynamic Modeling via State Space Model for Human Skeleton-based Action Recognition [59.99922360648663]
TSkel-Mambaは、空間力学と時間力学の両方を効果的に捉えるハイブリッドトランスフォーマー-Mambaフレームワークである。
MTIモジュールはマルチスケールのCycle演算子を使用して、チャネル間の時間的相互作用をキャプチャする。
論文 参考訳（メタデータ） (2025-12-12T11:55:16Z) - MemMamba: Rethinking Memory Patterns in State Space Model [6.537535831000493]
マンバのような選択的状態空間モデルは O(n) 時間と O(1) 繰り返しの推論で高い効率性を示すが、その長距離メモリは指数関数的に崩壊する。
長文読解時の塩分情報の蒸留・保存方法に着想を得て,MemMambaを提案する。
MemMambaは、長期間のベンチマークで既存のMambaとTransformerよりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-09-28T14:40:58Z) - Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。
本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
論文 参考訳（メタデータ） (2024-12-21T13:43:51Z) - MambaMIM: Pre-training Mamba with State Space Token Interpolation and its Application to Medical Image Segmentation [23.67774523461722]
我々はMambaMIMと呼ばれる汎用的な事前学習フレームワークを提案する。
MambaMIMはマスキングシーケンス内の状態空間の因果関係を学習する。
我々は6.8KCTの大規模データセットでMambaMIMを事前訓練する。
論文 参考訳（メタデータ） (2024-08-15T10:35:26Z) - FMamba: Mamba based on Fast-attention for Multivariate Time-series Forecasting [6.152779144421304]
多変量時系列予測(MTSF)のためのFMambaという新しいフレームワークを導入する。
技術的には、まず、埋め込み層を介して入力変数の時間的特徴を抽出し、次に高速アテンションモジュールを介して入力変数間の依存関係を計算する。
多層パーセプトロンブロック(MLP-block)を通して入力特徴を選択的に扱い、変数の時間的依存関係を抽出する。
最後に、FMambaは、線形層であるプロジェクターを通して予測結果を得る。
論文 参考訳（メタデータ） (2024-07-20T09:14:05Z) - DeciMamba: Exploring the Length Extrapolation Potential of Mamba [89.07242846058023]
本研究では,マンバに特化して設計された文脈拡張手法であるDeciMambaを紹介する。
実世界の長距離NLPタスクに対する実験では、DeciMambaはトレーニング中に見られるものよりも、コンテキスト長に格段に長く当てはまることが示されている。
論文 参考訳（メタデータ） (2024-06-20T17:40:18Z) - Vision Mamba: A Comprehensive Survey and Taxonomy [11.025533218561284]
状態空間モデル (State Space Model, SSM) は、動的システムの振る舞いを記述・解析するために用いられる数学的モデルである。
最新の状態空間モデルに基づいて、Mambaは時間変化パラメータをSSMにマージし、効率的なトレーニングと推論のためのハードウェア認識アルゴリズムを定式化する。
Mambaは、Transformerを上回る可能性のある、新たなAIアーキテクチャになることが期待されている。
論文 参考訳（メタデータ） (2024-05-07T15:30:14Z) - Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting [5.166854384000439]
長期時系列予測(LTSF)は、将来のトレンドとパターンに関するより長い洞察を提供する。
近年,Mamba という新しい状態空間モデル (SSM) が提案されている。
入力データに対する選択的機能とハードウェア対応並列計算アルゴリズムにより、Mambaは予測性能と計算効率のバランスをとる大きな可能性を示した。
論文 参考訳（メタデータ） (2024-04-24T09:45:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。