論文の概要: Numerical Investigation of Sequence Modeling Theory using Controllable Memory Functions

• arxiv url: http://arxiv.org/abs/2506.05678v2
• Date: Mon, 09 Jun 2025 03:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 14:13:04.163827
• Title: Numerical Investigation of Sequence Modeling Theory using Controllable Memory Functions
• Title（参考訳）: 制御可能なメモリ関数を用いたシーケンスモデリング理論の数値解析
• Authors: Haotian Jiang, Zeyu Bao, Shida Wang, Qianxiao Li,
• Abstract要約: 本稿では,異なる時系列モデルが時間構造を効果的に捉える方法を評価するための,合成ベンチマークフレームワークを提案する。 このアプローチのコアは、それぞれがメモリ機能と時間依存の強さを決定するパラメータによって特徴づけられる合成ターゲットを生成することである。 いくつかのシーケンスモデリングアーキテクチャの実験は、既存の理論的洞察を確認し、新しい発見を明らかにする。
• 参考スコア（独自算出の注目度）: 14.79659491236138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The evolution of sequence modeling architectures, from recurrent neural networks and convolutional models to Transformers and structured state-space models, reflects ongoing efforts to address the diverse temporal dependencies inherent in sequential data. Despite this progress, systematically characterizing the strengths and limitations of these architectures remains a fundamental challenge. In this work, we propose a synthetic benchmarking framework to evaluate how effectively different sequence models capture distinct temporal structures. The core of this approach is to generate synthetic targets, each characterized by a memory function and a parameter that determines the strength of temporal dependence. This setup allows us to produce a continuum of tasks that vary in temporal complexity, enabling fine-grained analysis of model behavior concerning specific memory properties. We focus on four representative memory functions, each corresponding to a distinct class of temporal structures. Experiments on several sequence modeling architectures confirm existing theoretical insights and reveal new findings. These results demonstrate the effectiveness of the proposed method in advancing theoretical understanding and highlight the importance of using controllable targets with clearly defined structures for evaluating sequence modeling architectures.
• Abstract（参考訳）: 逐次ニューラルネットワークや畳み込みモデルからトランスフォーマーや構造化状態空間モデルまで、シーケンスモデリングアーキテクチャの進化は、シーケンシャルデータに固有の多様な時間的依存関係に対処するための継続的な取り組みを反映している。 この進歩にもかかわらず、これらのアーキテクチャの強みと限界を体系的に特徴づけることは、依然として根本的な課題である。 本研究では,異なる時系列モデルが時間構造をいかに効果的に捉えるかを評価するための,合成ベンチマークフレームワークを提案する。 このアプローチのコアは、それぞれがメモリ機能と時間依存の強さを決定するパラメータによって特徴づけられる合成ターゲットを生成することである。 この設定により、時間的複雑さの異なるタスクの連続体を生成し、特定のメモリ特性に関するモデル挙動のきめ細かい分析を可能にする。 本研究は,時間的構造の異なるクラスに対応する4つの代表記憶関数に着目した。 いくつかのシーケンスモデリングアーキテクチャの実験は、既存の理論的洞察を確認し、新しい発見を明らかにする。 これらの結果は,提案手法が理論的理解の進展に有効であることを示し,シーケンスモデリングアーキテクチャを評価するために明確に定義された構造を持つ制御可能なターゲットを使用することの重要性を強調した。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Test-time regression: a unifying framework for designing sequence models with associative memory [24.915262407519876]
  シーケンスモデルを理解し、導出するための統一フレームワークを導入する。 我々は、連想的リコールを2段階のプロセス、記憶と検索として形式化し、回帰問題としてキャストする。 我々の研究は、古典的回帰手法によるシーケンスモデリングを橋渡しし、より強力で理論的に原則化されたアーキテクチャを開発するための道を開く。
  論文  参考訳（メタデータ） (2025-01-21T18:32:31Z)
• Benchmark on Drug Target Interaction Modeling from a Structure Perspective [48.60648369785105]
  薬物と標的の相互作用の予測は、薬物の発見と設計に不可欠である。 グラフニューラルネットワーク(GNN)やトランスフォーマーに基づく最近の手法は、さまざまなデータセットで例外的なパフォーマンスを示している。 我々は,GNNベースと暗黙的(トランスフォーマーベース)構造学習アルゴリズムを多用することにより,構造の観点からの薬物-標的相互作用モデリングの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2024-07-04T16:56:59Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Efficient hierarchical Bayesian inference for spatio-temporal regression models in neuroimaging [6.512092052306553]
  例えば、M/EEG逆問題、タスクベースのfMRI分析のためのニューラルネットワークの符号化、温度モニタリングスキームなどがある。 モデルパラメータとノイズの内在的時間的ダイナミクスをモデル化した,新しい階層型フレキシブルベイズフレームワークを考案する。
  論文  参考訳（メタデータ） (2021-11-02T15:50:01Z)
• Approximation Theory of Convolutional Architectures for Time Series Modelling [15.42770933459534]
  時系列モデリングに適用した畳み込みアーキテクチャの近似特性について検討する。 近年の結果,データ生成プロセスにおける近似効率とメモリ構造との複雑な関係が明らかになった。
  論文  参考訳（メタデータ） (2021-07-20T09:19:26Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling [68.8204255655161]
  位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。 私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
  論文  参考訳（メタデータ） (2020-06-19T21:04:47Z)
• Semi-Structured Distributional Regression -- Extending Structured Additive Models by Arbitrary Deep Neural Networks and Data Modalities [0.0]
  本稿では、構造化回帰モデルとディープニューラルネットワークを統合ネットワークアーキテクチャに結合する一般的なフレームワークを提案する。 数値実験において,本フレームワークの有効性を実証し,ベンチマークや実世界の応用において,そのメリットを実証する。
  論文  参考訳（メタデータ） (2020-02-13T21:01:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。