論文の概要: Transformer Embeddings of Irregularly Spaced Events and Their Participants

• arxiv url: http://arxiv.org/abs/2201.00044v1
• Date: Fri, 31 Dec 2021 20:00:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-05 03:44:14.524010
• Title: Transformer Embeddings of Irregularly Spaced Events and Their Participants
• Title（参考訳）: 不規則な空間イベントのトランスフォーマー埋め込みとその参加者
• Authors: Chenghao Yang, Hongyuan Mei, Jason Eisner
• Abstract要約: 離散事象の不規則な空間列をモデル化する手法を提案する。 参加者を共有する事象や事実を関連づけるパターンマッチングロジックルールを用いて、この注意を制御します。 私たちの注意に基づくアプローチは,RoboCupデータセットでも同じように機能します。
• 参考スコア（独自算出の注目度）: 36.70002423982756
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an approach to modeling irregularly spaced sequences of discrete events. We begin with a continuous-time variant of the Transformer, which was originally formulated (Vaswani et al., 2017) for sequences without timestamps. We embed a possible event (or other boolean fact) at time $t$ by using attention over the events that occurred at times $< t$ (and the facts that were true when they occurred). We control this attention using pattern-matching logic rules that relate events and facts that share participants. These rules determine which previous events will be attended to, as well as how to transform the embeddings of the events and facts into the attentional queries, keys, and values. Other logic rules describe how to change the set of facts in response to events. Our approach closely follows Mei et al. (2020a), and adopts their Datalog Through Time formalism for logic rules. As in that work, a domain expert first writes a set of logic rules that establishes the set of possible events and other facts at each time $t$. Each possible event or other fact is embedded using a neural architecture that is derived from the rules that established it. Our only difference from Mei et al. (2020a) is that we derive a flatter, attention-based neural architecture whereas they used a more serial LSTM architecture. We find that our attention-based approach performs about equally well on the RoboCup dataset, where the logic rules play an important role in improving performance. We also compared these two methods with two previous attention-based methods (Zuo et al., 2020; Zhang et al., 2020a) on simpler synthetic and real domains without logic rules, and found our proposed approach to be at least as good, and sometimes better, than each of the other three methods.
• Abstract（参考訳）: 離散事象の不規則な間隔列をモデル化する手法を提案する。 最初は、タイムスタンプのないシーケンスに対して(Vaswani et al., 2017)定式化されたTransformerの連続時間変種から始める。 可能なイベント(あるいは他のブールの事実)を、時として$<t$(およびそれが発生したときの事実)に注意を払って、時に$t$(または、他のブールの事実)を埋め込む。 参加者を共有する事象と事実を関連付けるパターンマッチングロジックルールを用いて、この注意を制御します。 これらのルールは、どのイベントに出席するか、イベントと事実の埋め込みをどのように注意深いクエリ、キー、値に変換するかを決定する。 他の論理ルールは、イベントに応じて事実の集合をどのように変えるかを記述する。 我々のアプローチはMei et al. (2020a) に密接に従い、論理規則にDatalog Through Time 形式を採用する。 その作業において、ドメインの専門家は、最初に論理ルールのセットを書き、そのルールは、それぞれ$t$.t$で、可能なイベントやその他の事実のセットを確立する。 可能なイベントまたはその他の事実は、確立したルールから派生したニューラルアーキテクチャを使用して埋め込まれる。 Mei et al. (2020a)との唯一の違いは、よりシリアルなLSTMアーキテクチャを使用するのに対して、より平坦で注意に基づくニューラルアーキテクチャを導出することです。 当社の注意に基づくアプローチは,ロジックルールがパフォーマンス向上に重要な役割を果たすrobocupデータセット上で,ほぼ同じように動作することが分かりました。 また,これら2つの手法を,論理規則のない単純な合成・実領域について,従来の2つの注意に基づく手法(zuo et al., 2020; zhang et al., 2020a)と比較した。

関連論文リスト

• Symbolic Working Memory Enhances Language Models for Complex Rule Application [87.34281749422756]
  大規模言語モデル(LLM)は、顕著な推論性能を示しているが、多段階の推論に苦慮している。 本稿では,外部ワーキングメモリを用いたLLMの拡張と,ルール適用のためのニューロシンボリックフレームワークを提案する。 当社のフレームワークは,LLMベースのルール実装とシンボリックルールグラウンディングを反復的に実施する。
  論文  参考訳（メタデータ） (2024-08-24T19:11:54Z)
• Neuro-Symbolic Temporal Point Processes [13.72758658973969]
  本稿では,時間点プロセスモデルにニューラル・シンボリック・ルール誘導フレームワークを導入する。 負の対数類似性は学習を導く損失であり、説明論理則とその重みがエンドツーエンドで学習される。 提案手法は, 合成データセットおよび実データセット間で, 顕著な効率性と精度を示す。
  論文  参考訳（メタデータ） (2024-06-06T09:52:56Z)
• Logic and Commonsense-Guided Temporal Knowledge Graph Completion [9.868206060374991]
  時間的知識グラフ(TKG)は、時間を含むデータから派生した事象を記憶する。 本稿では,時系列やイベントの因果性を含む時間依存表現を協調的に学習するためのLCGE(Logic and Commonsense-Guided Embedding Model)を提案する。
  論文  参考訳（メタデータ） (2022-11-30T10:06:55Z)
• Learning Temporal Rules from Noisy Timeseries Data [72.93572292157593]
  我々は、ノイズのある時間的データ設定内で複合イベントにつながる基礎となる原子イベントとその関係を明らかにすることに注力する。 本稿では、まず原子イベント間の暗黙的な時間的関係を学習し、その後、制御のための論理規則を引き上げるニューラル時間論理プログラミング(Neural Temporal Logic Programming:Neural TLP)を提案する。
  論文  参考訳（メタデータ） (2022-02-11T01:29:02Z)
• Logic-Driven Context Extension and Data Augmentation for Logical Reasoning of Text [65.24325614642223]
  論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。 このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。 本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
  論文  参考訳（メタデータ） (2021-05-08T10:09:36Z)
• Online Learning Probabilistic Event Calculus Theories in Answer Set Programming [70.06301658267125]
  イベント認識(CER)システムは、事前に定義されたイベントパターンを使用して、ストリーミングタイムスタンプデータセットで発生を検出する。 本稿では,複雑なイベントパターンによる確率論的推論を,イベント計算で重み付けされたルールの形で行うことができるAnswer Set Programming(ASP)に基づくシステムを提案する。 その結果, 効率と予測の両面で, 新たなアプローチの優位性が示された。
  論文  参考訳（メタデータ） (2021-03-31T23:16:29Z)
• RNNLogic: Learning Logic Rules for Reasoning on Knowledge Graphs [91.71504177786792]
  本稿では知識グラフに基づく推論のための論理規則の学習について研究する。 論理規則は、予測に使用されるときに解釈可能な説明を提供するとともに、他のタスクに一般化することができる。 既存の手法は、検索スペースの検索の問題や、スパース報酬による非効率な最適化に悩まされている。
  論文  参考訳（メタデータ） (2020-10-08T14:47:02Z)
• Neural Datalog Through Time: Informed Temporal Modeling via Logical Specification [30.398163018363043]
  制限のないニューラルネットワークのトレーニングは、刺激的なパターンに過度に適合する可能性がある。 時間とともに構造化された事実を追跡するために時間的推論データベースを提案する。 合成ドメインと実世界のドメインの両方において、簡潔なデータログプログラムから派生したニューラル確率モデルが予測を改善することを示す。
  論文  参考訳（メタデータ） (2020-06-30T12:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。