論文の概要: Variational Connectionist Temporal Classification for Order-Preserving Sequence Modeling

• arxiv url: http://arxiv.org/abs/2309.11983v2
• Date: Wed, 22 Nov 2023 04:10:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 18:28:04.739424
• Title: Variational Connectionist Temporal Classification for Order-Preserving Sequence Modeling
• Title（参考訳）: 順序保存シーケンスモデリングのための変分コネクショナリスト時間分類
• Authors: Zheng Nan, Ting Dang, Vidhyasaharan Sethu, Beena Ahmed
• Abstract要約: 我々は、順序を保つより一般化可能なシーケンスモデルを訓練するのに使用できる損失関数を導出する。 両損失関数はモデル対数類似度に対する変分下界の直接最適化を可能にすることを示す。
• 参考スコア（独自算出の注目度）: 11.312044841380649
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Connectionist temporal classification (CTC) is commonly adopted for sequence modeling tasks like speech recognition, where it is necessary to preserve order between the input and target sequences. However, CTC is only applied to deterministic sequence models, where the latent space is discontinuous and sparse, which in turn makes them less capable of handling data variability when compared to variational models. In this paper, we integrate CTC with a variational model and derive loss functions that can be used to train more generalizable sequence models that preserve order. Specifically, we derive two versions of the novel variational CTC based on two reasonable assumptions, the first being that the variational latent variables at each time step are conditionally independent; and the second being that these latent variables are Markovian. We show that both loss functions allow direct optimization of the variational lower bound for the model log-likelihood, and present computationally tractable forms for implementing them.
• Abstract（参考訳）: コネクショニスト時間分類(ctc)は、入力と対象のシーケンス間の順序を保存する必要がある音声認識のようなシーケンスモデリングタスクに一般的に採用されている。 しかし、ctcは、潜在空間が不連続でスパースである決定論的シーケンスモデルにのみ適用されるため、変分モデルと比較してデータの可変性を扱えない。 本稿では,CTCを変分モデルと統合し,秩序を保ったより一般化可能なシーケンスモデルのトレーニングに使用できる損失関数を導出する。 具体的には、2つの合理的な仮定に基づいて、新しい変分ctcの2つのバージョンを導出する。1つは各時間ステップにおける変分潜時変数が条件付き独立であること、もう1つはこれらの潜時変数がマルコフ型であることである。 両損失関数は、モデル対数様の変分下界の直接最適化を可能にし、それらを実装するための計算処理可能な形式を示す。

関連論文リスト

• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• An Interpretable and Efficient Infinite-Order Vector Autoregressive Model for High-Dimensional Time Series [1.4939176102916187]
  本稿では,高次元時系列に対する新しいスパース無限次VARモデルを提案する。 このモデルによって得られたVARMA型力学の時間的・横断的な構造は別々に解釈できる。 統計的効率と解釈可能性の向上は、時間的情報をほとんど失わずに達成できる。
  論文  参考訳（メタデータ） (2022-09-02T17:14:24Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Differentiable Segmentation of Sequences [2.1485350418225244]
  我々は、連続的なワープ関数の学習の進歩の上に構築し、双方向パワー(TSP)分布に基づく新しいワープ関数のファミリーを提案する。 我々の定式化は特別な場合として分割一般化線型モデルの重要なクラスを含む。 我々は、PoissonレグレッションによるCOVID-19の拡散をモデル化し、変化点検出タスクに適用し、概念ドリフトによる分類モデルを学習する。
  論文  参考訳（メタデータ） (2020-06-23T15:51:48Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。