論文の概要: Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.11997v1
• Date: Mon, 19 Feb 2024 09:43:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 17:16:54.790261
• Title: Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models
• Title（参考訳）: その年の出来事を覚えてるか? 大規模言語モデルにおける時間情報と推論の評価
• Authors: Himanshu Beniwal, Kowsik Nandagopan D, Mayank Singh
• Abstract要約: 大規模言語モデル(LLM)はますます普及しているが、時間的情報を推論し保持する能力は依然として限られている。 本稿では,新しい大規模時間的データセットであるtextbfTempUN の最先端モデルを用いて,時間的保持と推論能力の大幅な制限を明らかにする。
• 参考スコア（独自算出の注目度）: 1.3062731746155414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly becoming ubiquitous, yet their ability to reason about and retain temporal information remains limited. This hinders their application in real-world scenarios where understanding the sequential nature of events is crucial. This paper experiments with state-of-the-art models on a novel, large-scale temporal dataset, \textbf{TempUN}, to reveal significant limitations in temporal retention and reasoning abilities. Interestingly, closed-source models indicate knowledge gaps more frequently, potentially suggesting a trade-off between uncertainty awareness and incorrect responses. Further, exploring various fine-tuning approaches yielded no major performance improvements. The associated dataset and code are available at the following URL (https://github.com/lingoiitgn/TempUN).
• Abstract（参考訳）: 大規模言語モデル(LLM)はますます普及しているが、時間的情報の推論と保持能力は依然として限られている。 これにより、イベントのシーケンシャルな性質を理解することが不可欠である現実世界のシナリオでのアプリケーションの障害となる。 本稿では,新しい大規模時間的データセットである「textbf{TempUN}」の最先端モデルを用いて,時間的保持と推論能力の大幅な制限を明らかにする。 興味深いことに、クローズドソースモデルは知識ギャップをより頻繁に示し、不確実性認識と誤った反応のトレードオフを示唆している。 さらに、様々な微調整アプローチを探索しても大きな性能改善は得られなかった。 関連するデータセットとコードは、以下のURLで利用できる(https://github.com/lingoiitgn/TempUN)。

関連論文リスト

• ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains [19.428141279030527]
  提案するChroKnowledgeは,大規模言語モデルの非パラメトリック時系列知識を評価・更新するための新しいサンプリングベースフレームワークである。 我々のフレームワークは、生物医学領域と一般領域の両方において、タイムライン全体にわたる全体的な知識の更新に成功した。 我々は,ChroKnowPromptの時間的特性に基づく包括的分析を行い,本質的な時間的知識を引き出すための様々なモデルの可能性を検証する。
  論文  参考訳（メタデータ） (2024-10-13T15:08:49Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner [41.462673126500974]
  インスタンス・インクリメンタル・ラーニング(IIL)は、同じクラスのデータで継続的に学習することに焦点を当てている。 そこで本研究では,教師に知識を集中させ,新たな知識を習得し易くするための新しい意思決定境界対応蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:49:51Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Exploring the Limits of Historical Information for Temporal Knowledge Graph Extrapolation [59.417443739208146]
  本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。 CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。 提案したモデルを5つのベンチマークグラフで評価する。
  論文  参考訳（メタデータ） (2023-08-29T03:26:38Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations [35.51427298619691]
  テキストデータに埋め込まれた時間的知識の強化について検討する。 文脈型言語表現(ECOLA)を用いた時間的知識埋め込みを提案する。 実験の結果,ECOLAはリンク予測タスクにおいてHits@1に関して最大287%の相対的な改善を施し,時間的埋め込みモデルを大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-03-17T20:08:25Z)
• Unsupervised Pre-training with Structured Knowledge for Improving Natural Language Inference [22.648536283569747]
  本研究では,事前学習モデルの異なるコンポーネントにおける構造化知識を活用するモデルを提案する。 以上の結果から,提案モデルは従来のBERTモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-08T21:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。