論文の概要: Preventing Conflicting Gradients in Neural Marked Temporal Point Processes

• arxiv url: http://arxiv.org/abs/2412.08590v1
• Date: Wed, 11 Dec 2024 18:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:01:35.278278
• Title: Preventing Conflicting Gradients in Neural Marked Temporal Point Processes
• Title（参考訳）: ニューラルマーク付き時間点過程における競合勾配の防止
• Authors: Tanguy Bosser, Souhaib Ben Taieb,
• Abstract要約: MTPP(Neural Marked Temporal Point Process)は、ラベル付きイベント間の複雑な時間的相互依存性をキャプチャするフレキシブルモデルである。 MTPPモデルの学習は,両タスクが協調的に最適化されたトレーニング可能なパラメータの共通セットを共有する2タスク学習問題として,フレーム化可能であることを示す。 ニューラルMTPPモデルの新しいパラメトリゼーションを導入し、各タスクのモデリングとトレーニングを分離し、矛盾する勾配の問題を効果的に回避する。
• 参考スコア（独自算出の注目度）: 2.3020018305241337
• License:
• Abstract: Neural Marked Temporal Point Processes (MTPP) are flexible models to capture complex temporal inter-dependencies between labeled events. These models inherently learn two predictive distributions: one for the arrival times of events and another for the types of events, also known as marks. In this study, we demonstrate that learning a MTPP model can be framed as a two-task learning problem, where both tasks share a common set of trainable parameters that are optimized jointly. We show that this often leads to the emergence of conflicting gradients during training, where task-specific gradients are pointing in opposite directions. When such conflicts arise, following the average gradient can be detrimental to the learning of each individual tasks, resulting in overall degraded performance. To overcome this issue, we introduce novel parametrizations for neural MTPP models that allow for separate modeling and training of each task, effectively avoiding the problem of conflicting gradients. Through experiments on multiple real-world event sequence datasets, we demonstrate the benefits of our framework compared to the original model formulations.
• Abstract（参考訳）: MTPP(Neural Marked Temporal Point Process)は、ラベル付きイベント間の複雑な時間的相互依存性をキャプチャするフレキシブルモデルである。 これらのモデルは本質的に2つの予測的分布を学習する: 1つはイベントの到着時間、もう1つはイベントの種類、またはマークとして知られる。 本研究では,MTPPモデルの学習を2タスク学習問題とみなすことができ,両タスクが協調的に最適化されたトレーニング可能なパラメータの共通セットを共有することを実証する。 これはしばしば、タスク固有の勾配が反対方向を指しているトレーニング中に矛盾する勾配が出現することを示している。 このような衝突が起こると、平均的な勾配が個々のタスクの学習に有害になり、結果として全体的な性能が低下する。 この問題を解決するために,ニューラルMTPPモデルの新たなパラメトリゼーションを導入し,各タスクのモデリングとトレーニングを分離し,矛盾する勾配の問題を効果的に回避する。 複数の実世界のイベントシーケンスデータセットの実験を通じて、元のモデル定式化と比較して、我々のフレームワークの利点を実証する。

関連論文リスト

• Decoupled Marked Temporal Point Process using Neural Ordinary Differential Equations [14.828081841581296]
  MTPP(マークド・テンポラル・ポイント・プロセス)は、イベント・タイム・データの集合である。 近年の研究では、ディープニューラルネットワークを使用してイベントの複雑な時間的依存関係をキャプチャしている。 本稿では,プロセスの特性を異なる事象からの進化的影響の集合に分解する脱結合型MTPPフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-10T10:15:32Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Enhancing Asynchronous Time Series Forecasting with Contrastive Relational Inference [21.51753838306655]
  時間点プロセス(TPP)は、そのようなモデリングの標準的な方法である。 既存のTPPモデルは、イベントの相互作用を明示的にモデル化する代わりに、将来のイベントの条件分布に焦点を当てており、イベント予測の課題を示唆している。 本稿では,ニューラル推論(NRI)を利用して,観測データから動的パターンを同時に学習しながら,相互作用を推論するグラフを学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-06T09:47:03Z)
• Learning Behavior Representations Through Multi-Timescale Bootstrapping [8.543808476554695]
  本稿では,行動のマルチスケール表現学習モデルであるBootstrap Across Multiple Scales (BAMS)を紹介する。 まず,異なる地形タイプをナビゲートする四足歩行のデータセットに本手法を適用し,そのモデルが行動の時間的複雑さを捉えていることを示す。
  論文  参考訳（メタデータ） (2022-06-14T17:57:55Z)
• CEP3: Community Event Prediction with Neural Point Process on Graph [59.434777403325604]
  グラフニューラルネットワークとマーク付き時間点プロセス(MTPP)を組み合わせた新しいモデルを提案する。 実験では,モデルの精度と訓練効率の両面から,モデルの優れた性能を実証した。
  論文  参考訳（メタデータ） (2022-05-21T15:30:25Z)
• Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
  マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。 我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。 本モデルは,多くの多変量データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-16T07:53:42Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Aligned Multi-Task Gaussian Process [12.903751268469696]
  マルチタスク学習では、タスク間の相関を正確に識別する必要がある。 従来のマルチタスクモデルはこれを考慮せず、その後の相関推定における誤差は予測性能の低下をもたらす。 本稿では,予測性能を向上させる統合生成モデルにおいて,時間的不整合を自動的に考慮する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-29T13:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。