論文の概要: An Overview Of Temporal Commonsense Reasoning and Acquisition
- arxiv url: http://arxiv.org/abs/2308.00002v3
- Date: Thu, 16 Nov 2023 12:33:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 18:48:41.562752
- Title: An Overview Of Temporal Commonsense Reasoning and Acquisition
- Title(参考訳): 時間的コモンセンス推論と買収の概観
- Authors: Georg Wenzel and Adam Jatowt
- Abstract要約: 時間的コモンセンス推論(英: Temporal Commonsense reasoning)とは、フレーズ、行動、出来事の典型的な時間的文脈を理解する能力である。
大規模言語モデルの性能に関する最近の研究は、しばしば推論においてショートカットを行い、単純な言語トラップに陥ることが示唆されている。
- 参考スコア(独自算出の注目度): 20.108317515225504
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal commonsense reasoning refers to the ability to understand the
typical temporal context of phrases, actions, and events, and use it to reason
over problems requiring such knowledge. This trait is essential in temporal
natural language processing tasks, with possible applications such as timeline
summarization, temporal question answering, and temporal natural language
inference. Recent research on the performance of large language models suggests
that, although they are adept at generating syntactically correct sentences and
solving classification tasks, they often take shortcuts in their reasoning and
fall prey to simple linguistic traps. This article provides an overview of
research in the domain of temporal commonsense reasoning, particularly focusing
on enhancing language model performance through a variety of augmentations and
their evaluation across a growing number of datasets. However, these augmented
models still struggle to approach human performance on reasoning tasks over
temporal common sense properties, such as the typical occurrence times,
orderings, or durations of events. We further emphasize the need for careful
interpretation of research to guard against overpromising evaluation results in
light of the shallow reasoning present in transformers. This can be achieved by
appropriately preparing datasets and suitable evaluation metrics.
- Abstract(参考訳): テンポラル・コモンセンス推論(temporal commonsense reasoning)とは、フレーズ、アクション、イベントの典型的な時間的文脈を理解し、そのような知識を必要とする問題を推論するために使用する能力を指す。
この特徴は時相自然言語処理タスクにおいて必須であり、時相要約、時相質問応答、時相自然言語推論などの応用が可能となる。
大規模言語モデルの性能に関する最近の研究は, 構文的に正しい文を生成し, 分類タスクを解くことに長けているにもかかわらず, 推論のショートカットを行い, 単純な言語トラップに陥ることが多いことを示唆している。
本稿では,時間的コモンセンス推論の分野における研究の概要について述べる。特に,多種多様な拡張による言語モデルの性能向上と,さらに多くのデータセットを対象とした評価に焦点を当てる。
しかしながら、これらの強化モデルは、典型的な発生時間、順序、イベントの持続時間などの時間的共通感覚特性よりも、人間のパフォーマンスを推論するタスクにアプローチするのに依然として苦労している。
さらに,トランスフォーマの浅い推論に照らして,過度に予測される評価結果から保護する研究の慎重な解釈の必要性も強調する。
これはデータセットと適切な評価メトリクスを適切に準備することで実現できる。
関連論文リスト
- Temporal Validity Change Prediction [20.108317515225504]
既存のベンチマークタスクは、1つのステートメントの時間的妥当性を識別するモデルを必要とする。
多くの場合、利用可能なテキストストリームから、ストーリー中の文やソーシャルメディアプロファイル上の投稿などの追加の文脈情報を集めることができる。
本稿では,このような変化を誘発する文脈文を検出する機械学習モデルの能力をベンチマークした自然言語処理タスクである時間的妥当性変化予測を提案する。
論文 参考訳(メタデータ) (2024-01-01T14:58:53Z) - UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [65.07706249058549]
異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。
予期せぬ結果のコンテキストが与えられた場合、このタスクは自然言語の説明を生成するために故意に推論する必要がある。
私たちはUNcommonsenseという新しい英語コーパスをリリースします。
論文 参考訳(メタデータ) (2023-11-14T19:00:55Z) - Back to the Future: Towards Explainable Temporal Reasoning with Large
Language Models [33.8108950744839]
そこで本稿では,コンテキストに基づいたイベント発生の予測を行うために,時間的推論を記述可能な最初のタスクを紹介する。
本研究では,時間的予測と説明の最先端性能を実現する方法を示す。
論文 参考訳(メタデータ) (2023-10-02T10:35:23Z) - TRAM: Benchmarking Temporal Reasoning for Large Language Models [14.30980373935713]
10個のデータセットからなる時間的推論ベンチマークであるTRAMを紹介する。
一般的な大言語モデル(LLM)を用いて広範囲な評価を行う。
以上の結果から,これらのモデルが時間的推論タスクにおいて,人間のパフォーマンスに追随していることが示唆された。
論文 参考訳(メタデータ) (2023-10-02T00:59:07Z) - ChatGPT and Simple Linguistic Inferences: Blind Spots and Blinds [51.220650412095665]
本稿では,人間にとって容易な単純な推論タスクに焦点をあてる。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
以上の結果から,モデルがこのような推論に苦慮し,中程度の精度で精度が低いことが示唆された。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z) - Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。
TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。
共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
論文 参考訳(メタデータ) (2022-12-20T17:40:03Z) - Contextualization and Generalization in Entity and Relation Extraction [0.0]
本研究では、訓練中に見えない事実への一般化に関する最先端モデルの振る舞いについて検討する。
従来のベンチマークは、トレーニングとモデル評価に使用される言及と関係の間に重要な語彙的重複を示す。
本稿では,トレーニングセットと重複する言及と関連性に基づいて,パフォーマンスを分離するための実証的研究を提案する。
論文 参考訳(メタデータ) (2022-06-15T14:16:42Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳(メタデータ) (2021-07-22T20:52:26Z) - Interpretable Time-series Representation Learning With Multi-Level
Disentanglement [56.38489708031278]
Disentangle Time Series (DTS)は、シーケンシャルデータのための新しいDisentanglement Enhanceingフレームワークである。
DTSは時系列の解釈可能な表現として階層的意味概念を生成する。
DTSは、セマンティック概念の解釈性が高く、下流アプリケーションで優れたパフォーマンスを実現します。
論文 参考訳(メタデータ) (2021-05-17T22:02:24Z) - Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。
本手法は,時間的共通感覚の様々な次元の質予測を行う。
また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
論文 参考訳(メタデータ) (2020-05-08T22:20:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。