論文の概要: Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.11997v2
• Date: Fri, 5 Jul 2024 11:26:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 23:53:32.916311
• Title: Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models
• Title（参考訳）: この年の出来事を覚えているだろうか?大規模言語モデルにおける時間的情報と推論
• Authors: Himanshu Beniwal, Dishant Patel, Kowsik Nandagopan D, Hritik Ladia, Ankit Yadav, Mayank Singh,
• Abstract要約: 大規模言語モデル(LLM)はますます普及しているが、時間的情報を保持する能力と推論能力は依然として限られている。 本研究は,紀元前1万年から2100年の間,新しい数値時間データセットである textbfTempUN に関する12の最先端モデルを用いて実験を行った。
• 参考スコア（独自算出の注目度）: 1.472789264981363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly ubiquitous, yet their ability to retain and reason about temporal information remains limited, hindering their application in real-world scenarios where understanding the sequential nature of events is crucial. Our study experiments with 12 state-of-the-art models (ranging from 2B to 70B+ parameters) on a novel numerical-temporal dataset, \textbf{TempUN}, spanning from 10,000 BCE to 2100 CE, to uncover significant temporal retention and comprehension limitations. We propose six metrics to assess three learning paradigms to enhance temporal knowledge acquisition. Our findings reveal that open-source models exhibit knowledge gaps more frequently, suggesting a trade-off between limited knowledge and incorrect responses. Additionally, various fine-tuning approaches significantly improved performance, reducing incorrect outputs and impacting the identification of 'information not available' in the generations. The associated dataset and code are available at (https://github.com/lingoiitgn/TempUN).
• Abstract（参考訳）: 大規模言語モデル(LLM)はますます普及しているが、その時間的情報の保持と推論能力は依然として限られており、イベントのシーケンシャルな性質を理解することが不可欠である現実のシナリオでの応用を妨げる。 本研究は,紀元前1万年から2100年にわたる新しい時間的データセットである \textbf{TempUN} 上で,12種類の最先端モデル(2Bから70B以上のパラメータ)を用いて実験を行い,時間的保持と理解の限界を明らかにした。 本研究では,時間的知識獲得を促進するための3つの学習パラダイムを評価するための6つの指標を提案する。 その結果,オープンソースモデルは知識ギャップの頻度が高く,限られた知識と誤った応答とのトレードオフが示唆された。 さらに、様々な微調整アプローチによって性能が大幅に向上し、不正な出力が減少し、世代間での「入手できない情報」の識別に影響を及ぼした。 関連するデータセットとコードは (https://github.com/lingoiitgn/TempUN) で公開されている。

関連論文リスト

• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains [19.428141279030527]
  大規模言語モデル(LLM)は、私たちの生活の多くの側面に大きな変化をもたらしました。 既存のアプローチは、知識の時間的適応性に対処するのに不足している。 LLMの非パラメトリック時系列知識を評価するための新しいサンプリングベースフレームワークであるChroKnowledgeを紹介する。
  論文  参考訳（メタデータ） (2024-10-13T15:08:49Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Time Awareness in Large Language Models: Benchmarking Fact Recall Across Time [0.0]
  現実のシナリオでは、回答の正しさはしばしば時間的文脈に結びついている。 2018年から2024年にかけて8000以上のイベントにまたがる新しいフレームワークとデータセットを提示します。 私たちの仕事は、タイムアウェアな言語モデルを進めるための重要なステップを提供します。
  論文  参考訳（メタデータ） (2024-09-20T08:57:20Z)
• Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner [41.462673126500974]
  インスタンス・インクリメンタル・ラーニング(IIL)は、同じクラスのデータで継続的に学習することに焦点を当てている。 そこで本研究では,教師に知識を集中させ,新たな知識を習得し易くするための新しい意思決定境界対応蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:49:51Z)
• Exploring the Limits of Historical Information for Temporal Knowledge Graph Extrapolation [59.417443739208146]
  本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。 CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。 提案したモデルを5つのベンチマークグラフで評価する。
  論文  参考訳（メタデータ） (2023-08-29T03:26:38Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。