論文の概要: Remember This Event That Year? Assessing Temporal Information and
Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2402.11997v1
- Date: Mon, 19 Feb 2024 09:43:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:16:54.790261
- Title: Remember This Event That Year? Assessing Temporal Information and
Reasoning in Large Language Models
- Title(参考訳): その年の出来事を覚えてるか?
大規模言語モデルにおける時間情報と推論の評価
- Authors: Himanshu Beniwal, Kowsik Nandagopan D, Mayank Singh
- Abstract要約: 大規模言語モデル(LLM)はますます普及しているが、時間的情報を推論し保持する能力は依然として限られている。
本稿では,新しい大規模時間的データセットであるtextbfTempUN の最先端モデルを用いて,時間的保持と推論能力の大幅な制限を明らかにする。
- 参考スコア(独自算出の注目度): 1.3062731746155414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly becoming ubiquitous, yet their
ability to reason about and retain temporal information remains limited. This
hinders their application in real-world scenarios where understanding the
sequential nature of events is crucial. This paper experiments with
state-of-the-art models on a novel, large-scale temporal dataset,
\textbf{TempUN}, to reveal significant limitations in temporal retention and
reasoning abilities. Interestingly, closed-source models indicate knowledge
gaps more frequently, potentially suggesting a trade-off between uncertainty
awareness and incorrect responses. Further, exploring various fine-tuning
approaches yielded no major performance improvements. The associated dataset
and code are available at the following URL
(https://github.com/lingoiitgn/TempUN).
- Abstract(参考訳): 大規模言語モデル(LLM)はますます普及しているが、時間的情報の推論と保持能力は依然として限られている。
これにより、イベントのシーケンシャルな性質を理解することが不可欠である現実世界のシナリオでのアプリケーションの障害となる。
本稿では,新しい大規模時間的データセットである「textbf{TempUN}」の最先端モデルを用いて,時間的保持と推論能力の大幅な制限を明らかにする。
興味深いことに、クローズドソースモデルは知識ギャップをより頻繁に示し、不確実性認識と誤った反応のトレードオフを示唆している。
さらに、様々な微調整アプローチを探索しても大きな性能改善は得られなかった。
関連するデータセットとコードは、以下のURLで利用できる(https://github.com/lingoiitgn/TempUN)。
関連論文リスト
- Temporal Blind Spots in Large Language Models [20.631107338678234]
大規模言語モデル(LLM)は、様々な自然言語処理タスクを実行する非並列性のため、最近注目されている。
本研究では,時間的理解を必要とするタスクに対して,汎用LLMの基本的な限界について検討する。
論文 参考訳(メタデータ) (2024-01-22T16:20:14Z) - Re-Temp: Relation-Aware Temporal Representation Learning for Temporal
Knowledge Graph Completion [11.699431017532367]
補外設定の下での時間的知識グラフ補完(TKGC)は、将来的な事実から欠落した実体を予測することを目的としている。
提案するモデルであるRe-Tempは,明示的な時間的埋め込みを入力として利用し,各タイムスタンプ後のスキップ情報フローを組み込んで,不要な情報を省略して予測する。
我々のモデルは、最近の8つの最先端モデル全てに顕著なマージンで勝っていることを実証する。
論文 参考訳(メタデータ) (2023-10-24T10:58:33Z) - Exploring the Limits of Historical Information for Temporal Knowledge
Graph Extrapolation [59.417443739208146]
本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。
CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。
提案したモデルを5つのベンチマークグラフで評価する。
論文 参考訳(メタデータ) (2023-08-29T03:26:38Z) - Instructed Diffuser with Temporal Condition Guidance for Offline
Reinforcement Learning [71.24316734338501]
テンポラリ・コンポラブル・ディフューザ(TCD)を用いた実効時間条件拡散モデルを提案する。
TCDは、相互作用シーケンスから時間情報を抽出し、時間条件で生成を明示的にガイドする。
提案手法は,従来のSOTAベースラインと比較して最高の性能を達成または一致させる。
論文 参考訳(メタデータ) (2023-06-08T02:12:26Z) - Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。
我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。
私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
論文 参考訳(メタデータ) (2023-05-24T07:30:08Z) - Continuous-time convolutions model of event sequences [53.36665135225617]
イベントシーケンスデータの巨大なサンプルは、eコマース、ヘルスケア、ファイナンスなど、さまざまなドメインで発生します。
利用可能なデータの量とクライアント毎のイベントシーケンスの長さは典型的には大きいため、長期的なモデリングが必要である。
時間内の事象の一様発生に適した連続畳み込みニューラルネットワークに基づくCOTIC法を提案する。
論文 参考訳(メタデータ) (2023-02-13T10:34:51Z) - Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。
TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。
共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
論文 参考訳(メタデータ) (2022-12-20T17:40:03Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Learning Neural Models for Continuous-Time Sequences [0.0]
連続時間イベントシーケンス(CTES)の特性について検討し、上記の問題を克服するために、堅牢でスケーラブルなニューラルネットワークベースモデルを設計する。
本研究では,MTPPを用いた事象の生成過程をモデル化し,現実世界の幅広い問題に対処する。
論文 参考訳(メタデータ) (2021-11-13T20:39:15Z) - Domain Knowledge Empowered Structured Neural Net for End-to-End Event
Temporal Relation Extraction [44.95973272921582]
本稿では,確率的ドメイン知識によって構築された分布制約を持つディープニューラルネットワークを強化するフレームワークを提案する。
ラグランジアン緩和(Lagrangian Relaxation)により制約付き推論問題を解き、終端事象の時間的関係抽出タスクに適用する。
論文 参考訳(メタデータ) (2020-09-15T22:20:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。