論文の概要: Time-series Generation by Contrastive Imitation

• arxiv url: http://arxiv.org/abs/2311.01388v1
• Date: Thu, 2 Nov 2023 16:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 12:33:57.441964
• Title: Time-series Generation by Contrastive Imitation
• Title（参考訳）: コントラスト模倣による時系列生成
• Authors: Daniel Jarrett, Ioana Bica, Mihaela van der Schaar
• Abstract要約: モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
• 参考スコア（独自算出の注目度）: 87.51882102248395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consider learning a generative model for time-series data. The sequential setting poses a unique challenge: Not only should the generator capture the conditional dynamics of (stepwise) transitions, but its open-loop rollouts should also preserve the joint distribution of (multi-step) trajectories. On one hand, autoregressive models trained by MLE allow learning and computing explicit transition distributions, but suffer from compounding error during rollouts. On the other hand, adversarial models based on GAN training alleviate such exposure bias, but transitions are implicit and hard to assess. In this work, we study a generative framework that seeks to combine the strengths of both: Motivated by a moment-matching objective to mitigate compounding error, we optimize a local (but forward-looking) transition policy, where the reinforcement signal is provided by a global (but stepwise-decomposable) energy model trained by contrastive estimation. At training, the two components are learned cooperatively, avoiding the instabilities typical of adversarial objectives. At inference, the learned policy serves as the generator for iterative sampling, and the learned energy serves as a trajectory-level measure for evaluating sample quality. By expressly training a policy to imitate sequential behavior of time-series features in a dataset, this approach embodies "generation by imitation". Theoretically, we illustrate the correctness of this formulation and the consistency of the algorithm. Empirically, we evaluate its ability to generate predictively useful samples from real-world datasets, verifying that it performs at the standard of existing benchmarks.
• Abstract（参考訳）: 時系列データの生成モデルを学ぶことを考える。 ジェネレータが(ステップごとに)遷移の条件付きダイナミクスをキャプチャするだけでなく、そのオープンループロールアウトは(複数ステップの)軌道のジョイント分布を保持すべきである。 一方、MLEによって訓練された自己回帰モデルは、明示的な遷移分布の学習と計算を可能にするが、ロールアウト時に複雑なエラーに悩まされる。 一方、GANトレーニングに基づく敵対モデルは、そのような露出バイアスを緩和するが、遷移は暗黙的で評価しにくい。 本研究では, 合成誤差を軽減するため, モーメントマッチング目標により動機付け, 局所的(しかし前方的な)遷移ポリシーを最適化し, その強化信号は, 対照的な推定によって訓練された大域的(ただし, 段階的に分解可能な)エネルギーモデルによって提供される。 トレーニングでは、2つのコンポーネントを協調的に学習し、敵の目的に典型的な不安定さを避ける。 推論では、学習されたポリシーは反復的なサンプリングのジェネレータとなり、学習されたエネルギーはサンプルの品質を評価するための軌道レベルの尺度となる。 データセット内の時系列特徴のシーケンシャルな振る舞いを模倣するポリシーを明示的に訓練することにより、このアプローチは「模倣による世代」を具現化する。 理論的には、この定式化の正確性とアルゴリズムの一貫性を示す。 実世界のデータセットから予測的に有用なサンプルを生成する能力を評価し、既存のベンチマークの標準で実行されることを検証します。

関連論文リスト

• Parallelly Tempered Generative Adversarial Networks [7.94957965474334]
  生成的敵対ネットワーク(GAN)は、生成的人工知能(AI)における代表的バックボーンモデルである。 本研究は,モード崩壊の存在下でのトレーニングの不安定性と非効率性を,対象分布におけるマルチモーダルにリンクすることで解析する。 新たに開発したGAN目標関数により, 生成元は同時に全ての誘電分布を学習することができる。
  論文  参考訳（メタデータ） (2024-11-18T18:01:13Z)
• Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
  敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。 近年、拡散モデルはGANの非敵対的な代替品として出現している。 提案手法は, 様々な連続制御問題に対して, GANスタイルの模倣学習ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:25Z)
• TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression [11.040033344386366]
  対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。 対象モデルの推定誤差に対して、漸近的境界が提供される。 提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
  論文  参考訳（メタデータ） (2024-04-01T14:58:16Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Gradual Domain Adaptation in the Wild:When Intermediate Distributions are Absent [32.906658998929394]
  目標が目標分布に向かってモデルをシフトさせる場合、ドメイン適応の問題に焦点をあてる。 本稿では,ソース領域とターゲット領域の例を補間することで,中間分布から仮想サンプルを作成するGIFTを提案する。
  論文  参考訳（メタデータ） (2021-06-10T22:47:06Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。