論文の概要: History Repeats: Overcoming Catastrophic Forgetting For Event-Centric Temporal Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2305.18675v1
• Date: Tue, 30 May 2023 01:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 18:58:47.981103
• Title: History Repeats: Overcoming Catastrophic Forgetting For Event-Centric Temporal Knowledge Graph Completion
• Title（参考訳）: history repeats: イベント中心の時間知識グラフ完成のための破滅的な忘れを克服する
• Authors: Mehrnoosh Mirtaheri, Mohammad Rostami, Aram Galstyan
• Abstract要約: 時間知識グラフ(TKG)の完成モデルは、トレーニング中にグラフ全体にアクセスすることに依存する。 TKGデータは、イベントが展開するにつれて徐々に受信され、時間とともに動的に非定常なデータ分布につながる。 本稿では,任意のTKG完了法に適用可能な一般的な連続トレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.38304336898247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal knowledge graph (TKG) completion models typically rely on having access to the entire graph during training. However, in real-world scenarios, TKG data is often received incrementally as events unfold, leading to a dynamic non-stationary data distribution over time. While one could incorporate fine-tuning to existing methods to allow them to adapt to evolving TKG data, this can lead to forgetting previously learned patterns. Alternatively, retraining the model with the entire updated TKG can mitigate forgetting but is computationally burdensome. To address these challenges, we propose a general continual training framework that is applicable to any TKG completion method, and leverages two key ideas: (i) a temporal regularization that encourages repurposing of less important model parameters for learning new knowledge, and (ii) a clustering-based experience replay that reinforces the past knowledge by selectively preserving only a small portion of the past data. Our experimental results on widely used event-centric TKG datasets demonstrate the effectiveness of our proposed continual training framework in adapting to new events while reducing catastrophic forgetting. Further, we perform ablation studies to show the effectiveness of each component of our proposed framework. Finally, we investigate the relation between the memory dedicated to experience replay and the benefit gained from our clustering-based sampling strategy.
• Abstract（参考訳）: 時間知識グラフ(TKG)補完モデルは通常、トレーニング中にグラフ全体にアクセスすることに依存する。 しかしながら、現実のシナリオでは、tkgデータはイベントが展開するにつれて徐々に受信され、時間の経過とともに動的に非定常なデータ分布が発生する。 既存の方法に微調整を組み込むことで、進化するtkgデータに適応できるが、これは以前に学習したパターンを忘れることになる。 あるいは、モデル全体を更新したTKGで再トレーニングすることで、忘れを軽減できるが、計算的に負担がかかる。 これらの課題に対処するため、我々はTKG完了法に適用可能な一般的な連続的なトレーニングフレームワークを提案し、以下の2つの主要なアイデアを利用する。 一 新たな知識を学ぶための重要でないモデルパラメータの再利用を奨励する時間的正規化 (2)過去のデータの一部だけを選択的に保存することにより過去の知識を補強するクラスタリングベースの体験再生。 広く使われているイベント中心tkgデータセットにおける実験結果から,新しいイベントへの適応における継続学習フレームワークの有効性を実証した。 さらに,提案フレームワークの各コンポーネントの有効性を示すためのアブレーション研究を行った。 最後に,経験リプレイ専用メモリとクラスタリングに基づくサンプリング戦略の利点との関係について検討した。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Finding Foundation Models for Time Series Classification with a PreText Task [7.197233473373693]
  本稿では,時系列分類のための事前訓練済みドメイン基盤モデルを提案する。 我々の方法論の重要な側面は、複数のデータセットにまたがる新しいプリテキストタスクである。 UCRアーカイブの実験では,この事前学習戦略が,事前学習を伴わずに従来の訓練方法よりも有意に優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-11-24T15:03:55Z)
• Exploring the Limits of Historical Information for Temporal Knowledge Graph Extrapolation [59.417443739208146]
  本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。 CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。 提案したモデルを5つのベンチマークグラフで評価する。
  論文  参考訳（メタデータ） (2023-08-29T03:26:38Z)
• Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation [4.111899441919165]
  従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。 埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。 提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
  論文  参考訳（メタデータ） (2022-03-04T05:19:09Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)
• TIE: A Framework for Embedding-based Incremental Temporal Knowledge Graph Completion [37.76140466390048]
  時間的知識グラフ(TKG)の推論は、情報検索と意味検索にとって重要なタスクです。 近年のTKGコンプリート(TKGC)は,エンコーダデコーダフレームワークをタイムアウェアな符号化関数で拡張することによって実現されている。 本稿では,TKG表現学習,経験再現,時間正規化を組み合わせたTIE(Time-Aware Incremental Embedding)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-17T01:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。