論文の概要: Stochastic Clock Attention for Aligning Continuous and Ordered Sequences

• arxiv url: http://arxiv.org/abs/2509.14678v1
• Date: Thu, 18 Sep 2025 07:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.102203
• Title: Stochastic Clock Attention for Aligning Continuous and Ordered Sequences
• Title（参考訳）: 連続配列および順序順序列の確率的クロックアテンション
• Authors: Hyungjoon Soh, Junghyo Jo,
• Abstract要約: 我々はアライメントモデルとして機能する連続および順序列に対する注意機構を定式化する。 Transformerのテキスト音声テストベッドでは、この構造により、より安定したアライメントが得られ、グローバルな時間スケーリングに対する堅牢性が向上する。
• 参考スコア（独自算出の注目度）: 1.2418532541734193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formulate an attention mechanism for continuous and ordered sequences that explicitly functions as an alignment model, which serves as the core of many sequence-to-sequence tasks. Standard scaled dot-product attention relies on positional encodings and masks but does not enforce continuity or monotonicity, which are crucial for frame-synchronous targets. We propose learned nonnegative \emph{clocks} to source and target and model attention as the meeting probability of these clocks; a path-integral derivation yields a closed-form, Gaussian-like scoring rule with an intrinsic bias toward causal, smooth, near-diagonal alignments, without external positional regularizers. The framework supports two complementary regimes: normalized clocks for parallel decoding when a global length is available, and unnormalized clocks for autoregressive decoding -- both nearly-parameter-free, drop-in replacements. In a Transformer text-to-speech testbed, this construction produces more stable alignments and improved robustness to global time-scaling while matching or improving accuracy over scaled dot-product baselines. We hypothesize applicability to other continuous targets, including video and temporal signal modeling.
• Abstract（参考訳）: 連続列と順序列に対する注意機構を定式化し、アライメントモデルとして明示的に機能し、多くのシーケンス対シーケンスタスクのコアとして機能する。 標準的なドット積の注意は位置エンコーディングやマスクに依存しているが、フレーム同期ターゲットにとって重要な連続性や単調性は強制しない。 経路積分導出は、外的位置正則化を伴わず、因果的、滑らかで、ほぼ対角的なアライメントに固有の偏りを持つ閉形式のガウス的スコアリング規則を導出する。 このフレームワークは、2つの補完的なルールをサポートしている。グローバルな長さが利用可能な場合の並列デコーディングのための正規化クロックと、自動回帰デコーディングのための非正規化クロック -- ほぼパラメータフリー、ドロップインの置換 -- である。 Transformerのテキスト音声テストベッドでは、この構造により、より安定したアライメントが得られ、グローバルなタイムスケーリングに対するロバスト性が向上すると同時に、スケールされたドット積ベースラインよりも精度が向上する。 我々は、ビデオや時間的信号モデリングなど、他の連続的ターゲットへの適用性について仮説を立てる。

関連論文リスト

• FuXi-Linear: Unleashing the Power of Linear Attention in Long-term Time-aware Sequential Recommendation [86.55349738440087]
  FuXi-Linearは、効率的なロングシーケンスレコメンデーションのために設計された線形複雑度モデルである。 提案手法では, 時間的データを用いて周期的注意重みを独立に計算し, 時間的信号と意味的信号のクロストークを防ぐ時間的保持チャネルと, 学習可能なカーネルを介して線形複雑度内で位置情報を統合する線形位置決めチャネルの2つの重要な要素を紹介する。
  論文  参考訳（メタデータ） (2026-02-27T04:38:28Z)
• TempoNet: Slack-Quantized Transformer-Guided Reinforcement Scheduler for Adaptive Deadline-Centric Real-Time Dispatchs [8.818252253980985]
  TempoNetは、置換不変トランスフォーマーと深いQ近似を組み合わせた強化学習スケジューラである。 ブロックワイズのトップk選択と局所性に敏感なチャンキングを備えた遅延対応スパースアテンションスタックは、順序のないタスクセットに対するグローバルな推論を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T09:56:23Z)
• Selective Synchronization Attention [0.0]
  トランスフォーマーアーキテクチャは現代のディープラーニングの基盤となっているが、その中心となる自己認識機構は生物学的ニューラルネットワークの基盤を欠いている。 本稿では,標準的なドット積自己注意を閉形式演算子に置き換える新しい注意機構である選択同期注意(SSA)を提案する。 SSAは、(i)位相同期しきい値からの自然空間性、(i)周波数を持つトークンが明示的なマスキングなしで自動的に注意重量をゼロにする、(ii)自然周波数スペクトルを通した位置意味エンコーディング、(iii)単一のパス、クローズドなエンコーディング、の3つの主要な利点を提供する。
  論文  参考訳（メタデータ） (2026-02-16T03:58:12Z)
• Oscillators Are All You Need: Irregular Time Series Modelling via Damped Harmonic Oscillators with Closed-Form Solutions [3.8401108926879495]
  トランスフォーマーは、長期の時間的パターンをキャプチャするアテンションメカニズムを通じて、時系列のモデリングを排他的に行う。 彼らは均一な時間間隔を仮定し、従って不規則な時系列に苦しむ。 隠れた状態を連続的に進行する軌道としてモデル化することで、不規則な時系列を扱う方法を示す。
  論文  参考訳（メタデータ） (2026-02-12T16:27:09Z)
• LEFT: Learnable Fusion of Tri-view Tokens for Unsupervised Time Series Anomaly Detection [53.191369031661885]
  教師なし時系列異常検出は、アノテーションの可用性を前提とせず、異常なタイムスタンプを識別するモデルを構築することを目的としている。 本稿では,非教師付きTSADフレームワークであるLearnable Fusion of Tri-view Tokens(LEFT)について述べる。 実世界のベンチマーク実験では、LEFTはSOTAベースラインに対して最高の検出精度を示し、FLOPの5倍、トレーニングの8倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-02-09T13:33:49Z)
• Adaptive Path Integral Diffusion: AdaPID [0.0]
  本研究では,時変剛性を有する高調波PIDの選択グラム作成のためのパスワイズスケジュールを開発する。 スケジュールに敏感なQoS(Quality-of-Sampling)診断を導入する。
  論文  参考訳（メタデータ） (2025-12-05T04:57:00Z)
• PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
  ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
  論文  参考訳（メタデータ） (2025-11-14T05:56:47Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• Oscillatory State-Space Models [61.923849241099184]
  長いシーケンスを効率的に学習するための線形状態空間モデル(LinOSS)を提案する。 高速な連想並列スキャンを用いて時間とともに統合された安定な離散化により、提案した状態空間モデルが得られる。 我々はLinOSSが普遍であること、すなわち時間変化関数間の連続および因果作用素写像を近似できることを示す。
  論文  参考訳（メタデータ） (2024-10-04T22:00:13Z)
• Continuous-Time Linear Positional Embedding for Irregular Time Series Forecasting [14.038703353884033]
  時間情報を符号化する連続線形関数を学習するCTLPEを提案する。 CTLPEは、様々な不規則にサンプリングされた時系列データセットで既存の技術より優れている。
  論文  参考訳（メタデータ） (2024-09-30T08:46:18Z)
• Latte: Latent Attention for Linear Time Transformers [11.524573224123905]
  注意を喚起するための確率的枠組みを提案する。 本手法は,標準アテンション機構のドロップイン置換としてシームレスに統合できる。 結果として生じるLatte Transformer'は、標準的な注目やその他の最先端モデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-27T13:54:48Z)
• Imputing Missing Observations with Time Sliced Synthetic Minority Oversampling Technique [0.3973560285628012]
  本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。 我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。 これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
  論文  参考訳（メタデータ） (2022-01-14T19:23:24Z)
• Spectral embedding for dynamic networks with stability guarantees [7.575860121202432]
  動的ネットワークベクトルを埋め込み、各ノードの時間進化表現を得る問題を考える。 これらの性質は、一般的な動的潜在位置モデルの中で正式に定義される。 このモデルを多層ランダムドット積グラフとして再キャストする方法を示す。
  論文  参考訳（メタデータ） (2021-06-02T16:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。