論文の概要: Temporal Knowledge Graph Reasoning Triggered by Memories

• arxiv url: http://arxiv.org/abs/2110.08765v1
• Date: Sun, 17 Oct 2021 08:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 20:59:00.003090
• Title: Temporal Knowledge Graph Reasoning Triggered by Memories
• Title（参考訳）: 記憶による時間的知識グラフ推論
• Authors: Mengnan Zhao, Lihe Zhang, Yuqiu Kong, Baocai Yin
• Abstract要約: 本稿では, 過渡記憶, 長期記憶, 深部記憶を組み込んだMTDM(Memory-Triggered decision-making)ネットワークを提案する。 具体的には、過渡学習ネットワークは、過渡記憶を静的な知識グラフとみなし、タイムアウェア・リカレント進化ネットワークは、長期記憶から一連の再カレント進化単位を通して表現を学習する。
• 参考スコア（独自算出の注目度）: 39.081920534877796
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Inferring missing facts in temporal knowledge graphs is a critical task and has been widely explored. Extrapolation in temporal reasoning tasks is more challenging and gradually attracts the attention of researchers since no direct history facts for prediction. Previous works attempted to apply evolutionary representation learning to solve the extrapolation problem. However, these techniques do not explicitly leverage various time-aware attribute representations, i.e. the reasoning performance is significantly affected by the history length. To alleviate the time dependence when reasoning future missing facts, we propose a memory-triggered decision-making (MTDM) network, which incorporates transient memories, long-short-term memories, and deep memories. Specifically, the transient learning network considers transient memories as a static knowledge graph, and the time-aware recurrent evolution network learns representations through a sequence of recurrent evolution units from long-short-term memories. Each evolution unit consists of a structural encoder to aggregate edge information, a time encoder with a gating unit to update attribute representations of entities. MTDM utilizes the crafted residual multi-relational aggregator as the structural encoder to solve the multi-hop coverage problem. We also introduce the dissolution learning constraint for better understanding the event dissolution process. Extensive experiments demonstrate the MTDM alleviates the history dependence and achieves state-of-the-art prediction performance. Moreover, compared with the most advanced baseline, MTDM shows a faster convergence speed and training speed.
• Abstract（参考訳）: 時間的知識グラフに欠けている事実を推測することは重要な課題であり、広く研究されている。 時間的推論タスクの補間はより困難であり、予測のための直接的な歴史事実がないため、研究者の注意を徐々に惹きつける。 これまでの研究は、外挿問題を解くために進化的表現学習を適用しようと試みた。 しかし、これらの手法は、様々なタイムアウェアな属性表現を明示的に活用していない。 本研究では, 時間依存を緩和するために, 過渡記憶, 長期記憶, 深層記憶を組み込んだ MTDM (Memory-Triggered decision-making) ネットワークを提案する。 具体的には、過渡学習ネットワークは、過渡記憶を静的な知識グラフとみなし、タイムアウェア・リカレント進化ネットワークは、長期記憶から一連の反復進化単位を通して表現を学習する。 各進化単位は、エッジ情報を集約する構造エンコーダと、エンティティの属性表現を更新するゲーティングユニットを備えたタイムエンコーダから構成される。 MTDMは, 構造エンコーダとして残留多重相関アグリゲータを用いて, マルチホップカバレッジ問題を解決する。 また,イベント溶解過程の理解を深めるために,溶解学習制約を導入する。 MTDMは履歴依存を緩和し,最先端の予測性能を実現する。 さらに,最も先進的なベースラインと比較して,MTDMはより高速な収束速度とトレーニング速度を示す。

関連論文リスト

• Remember and Recall: Associative-Memory-based Trajectory Prediction [25.349986959111757]
  我々は,人間の顕著な学習能力に触発された,フラグメンテッドメモリに基づく軌道予測(FMTP)モデルを提案する。 FMTPモデルは、情報冗長性を低減し、計算効率を向上させるために離散表現を用いる。 言語モデルに基づく高度な推論エンジンを開発し、これらの離散表現間の連想規則を深く学習する。
  論文  参考訳（メタデータ） (2024-10-03T04:32:21Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks [22.47336262812308]
  メモリベースの動的グラフニューラルネットワーク(MDGNN)は、動的グラフニューラルネットワークのファミリーであり、メモリモジュールを利用して、長期の時間的依存関係を抽出、抽出、抽出する。 本稿では,時間的バッチサイズが大きいMDGNNの訓練における時間的不連続性に着目し,大規模MDGNNの効率的な訓練について検討する。
  論文  参考訳（メタデータ） (2024-02-06T01:34:56Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Recurrence-in-Recurrence Networks for Video Deblurring [58.49075799159015]
  最先端のビデオデブロアリング法は、しばしばフレーム間の時間的依存性をモデル化するために、リカレントニューラルネットワークを採用する。 本稿では,短距離メモリの限界に対処する再帰型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-03-12T11:58:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Schematic Memory Persistence and Transience for Efficient and Robust Continual Learning [8.030924531643532]
  継続学習は、次世代人工知能(AI)に向けた有望なステップであると考えられている まだ非常に原始的であり、既存の作品は主に(破滅的な)忘れの回避に焦点が当てられている。 神経科学の最近の進歩を踏まえた,外部記憶を用いた連続学習のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-05-05T14:32:47Z)
• Temporal Memory Relation Network for Workflow Recognition from Surgical Video [53.20825496640025]
  本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。 我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2021-03-30T13:20:26Z)
• Understanding Catastrophic Forgetting and Remembering in Continual Learning with Optimal Relevance Mapping [10.970706194360451]
  ニューラルネットワークにおける破滅的な忘れは、継続的な学習にとって重要な問題です。 最適オーバーラップ仮説にインスパイアされたRelevance Mapping Networks(RMN)を紹介します。 我々は、RMNが破滅的な忘れと記憶の双対の問題を乗り越える最適化された表現重複を学ぶことを示しています。
  論文  参考訳（メタデータ） (2021-02-22T20:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。