論文の概要: Transformer Embeddings of Irregularly Spaced Events and Their
Participants
- arxiv url: http://arxiv.org/abs/2201.00044v1
- Date: Fri, 31 Dec 2021 20:00:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-05 03:44:14.524010
- Title: Transformer Embeddings of Irregularly Spaced Events and Their
Participants
- Title(参考訳): 不規則な空間イベントのトランスフォーマー埋め込みとその参加者
- Authors: Chenghao Yang, Hongyuan Mei, Jason Eisner
- Abstract要約: 離散事象の不規則な空間列をモデル化する手法を提案する。
参加者を共有する事象や事実を関連づけるパターンマッチングロジックルールを用いて、この注意を制御します。
私たちの注意に基づくアプローチは,RoboCupデータセットでも同じように機能します。
- 参考スコア(独自算出の注目度): 36.70002423982756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an approach to modeling irregularly spaced sequences of discrete
events. We begin with a continuous-time variant of the Transformer, which was
originally formulated (Vaswani et al., 2017) for sequences without timestamps.
We embed a possible event (or other boolean fact) at time $t$ by using
attention over the events that occurred at times $< t$ (and the facts that were
true when they occurred). We control this attention using pattern-matching
logic rules that relate events and facts that share participants. These rules
determine which previous events will be attended to, as well as how to
transform the embeddings of the events and facts into the attentional queries,
keys, and values. Other logic rules describe how to change the set of facts in
response to events. Our approach closely follows Mei et al. (2020a), and adopts
their Datalog Through Time formalism for logic rules. As in that work, a domain
expert first writes a set of logic rules that establishes the set of possible
events and other facts at each time $t$. Each possible event or other fact is
embedded using a neural architecture that is derived from the rules that
established it. Our only difference from Mei et al. (2020a) is that we derive a
flatter, attention-based neural architecture whereas they used a more serial
LSTM architecture. We find that our attention-based approach performs about
equally well on the RoboCup dataset, where the logic rules play an important
role in improving performance. We also compared these two methods with two
previous attention-based methods (Zuo et al., 2020; Zhang et al., 2020a) on
simpler synthetic and real domains without logic rules, and found our proposed
approach to be at least as good, and sometimes better, than each of the other
three methods.
- Abstract(参考訳): 離散事象の不規則な間隔列をモデル化する手法を提案する。
最初は、タイムスタンプのないシーケンスに対して(Vaswani et al., 2017)定式化されたTransformerの連続時間変種から始める。
可能なイベント(あるいは他のブールの事実)を、時として$<t$(およびそれが発生したときの事実)に注意を払って、時に$t$(または、他のブールの事実)を埋め込む。
参加者を共有する事象と事実を関連付けるパターンマッチングロジックルールを用いて、この注意を制御します。
これらのルールは、どのイベントに出席するか、イベントと事実の埋め込みをどのように注意深いクエリ、キー、値に変換するかを決定する。
他の論理ルールは、イベントに応じて事実の集合をどのように変えるかを記述する。
我々のアプローチはMei et al. (2020a) に密接に従い、論理規則にDatalog Through Time 形式を採用する。
その作業において、ドメインの専門家は、最初に論理ルールのセットを書き、そのルールは、それぞれ$t$.t$で、可能なイベントやその他の事実のセットを確立する。
可能なイベントまたはその他の事実は、確立したルールから派生したニューラルアーキテクチャを使用して埋め込まれる。
Mei et al. (2020a)との唯一の違いは、よりシリアルなLSTMアーキテクチャを使用するのに対して、より平坦で注意に基づくニューラルアーキテクチャを導出することです。
当社の注意に基づくアプローチは,ロジックルールがパフォーマンス向上に重要な役割を果たすrobocupデータセット上で,ほぼ同じように動作することが分かりました。
また,これら2つの手法を,論理規則のない単純な合成・実領域について,従来の2つの注意に基づく手法(zuo et al., 2020; zhang et al., 2020a)と比較した。
関連論文リスト
- Unveiling Latent Causal Rules: A Temporal Point Process Approach for
Abnormal Event Explanation [13.72763823746961]
本稿では,観測事象を説明するために,「if-then」論理規則を探索する自動手法を提案する。
我々はこれを達成するために期待最大化(EM)アルゴリズムを用いる。
提案手法は,ルールの発見と根本原因の同定の両方において,正確な性能を示す。
論文 参考訳(メタデータ) (2024-02-03T06:21:33Z) - Continuous-time convolutions model of event sequences [53.36665135225617]
イベントシーケンスデータの巨大なサンプルは、eコマース、ヘルスケア、ファイナンスなど、さまざまなドメインで発生します。
利用可能なデータの量とクライアント毎のイベントシーケンスの長さは典型的には大きいため、長期的なモデリングが必要である。
時間内の事象の一様発生に適した連続畳み込みニューラルネットワークに基づくCOTIC法を提案する。
論文 参考訳(メタデータ) (2023-02-13T10:34:51Z) - Logic and Commonsense-Guided Temporal Knowledge Graph Completion [9.868206060374991]
時間的知識グラフ(TKG)は、時間を含むデータから派生した事象を記憶する。
本稿では,時系列やイベントの因果性を含む時間依存表現を協調的に学習するためのLCGE(Logic and Commonsense-Guided Embedding Model)を提案する。
論文 参考訳(メタデータ) (2022-11-30T10:06:55Z) - Learning Temporal Rules from Noisy Timeseries Data [72.93572292157593]
我々は、ノイズのある時間的データ設定内で複合イベントにつながる基礎となる原子イベントとその関係を明らかにすることに注力する。
本稿では、まず原子イベント間の暗黙的な時間的関係を学習し、その後、制御のための論理規則を引き上げるニューラル時間論理プログラミング(Neural Temporal Logic Programming:Neural TLP)を提案する。
論文 参考訳(メタデータ) (2022-02-11T01:29:02Z) - Logic-Driven Context Extension and Data Augmentation for Logical
Reasoning of Text [65.24325614642223]
論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。
このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。
本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
論文 参考訳(メタデータ) (2021-05-08T10:09:36Z) - Online Learning Probabilistic Event Calculus Theories in Answer Set
Programming [70.06301658267125]
イベント認識(CER)システムは、事前に定義されたイベントパターンを使用して、ストリーミングタイムスタンプデータセットで発生を検出する。
本稿では,複雑なイベントパターンによる確率論的推論を,イベント計算で重み付けされたルールの形で行うことができるAnswer Set Programming(ASP)に基づくシステムを提案する。
その結果, 効率と予測の両面で, 新たなアプローチの優位性が示された。
論文 参考訳(メタデータ) (2021-03-31T23:16:29Z) - RNNLogic: Learning Logic Rules for Reasoning on Knowledge Graphs [91.71504177786792]
本稿では知識グラフに基づく推論のための論理規則の学習について研究する。
論理規則は、予測に使用されるときに解釈可能な説明を提供するとともに、他のタスクに一般化することができる。
既存の手法は、検索スペースの検索の問題や、スパース報酬による非効率な最適化に悩まされている。
論文 参考訳(メタデータ) (2020-10-08T14:47:02Z) - Neural Datalog Through Time: Informed Temporal Modeling via Logical
Specification [30.398163018363043]
制限のないニューラルネットワークのトレーニングは、刺激的なパターンに過度に適合する可能性がある。
時間とともに構造化された事実を追跡するために時間的推論データベースを提案する。
合成ドメインと実世界のドメインの両方において、簡潔なデータログプログラムから派生したニューラル確率モデルが予測を改善することを示す。
論文 参考訳(メタデータ) (2020-06-30T12:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。