論文の概要: Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2402.11997v2
• Date: Fri, 5 Jul 2024 11:26:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 23:53:32.916311
• Title: Remember This Event That Year? Assessing Temporal Information and Reasoning in Large Language Models
• Title（参考訳）: この年の出来事を覚えているだろうか?大規模言語モデルにおける時間的情報と推論
• Authors: Himanshu Beniwal, Dishant Patel, Kowsik Nandagopan D, Hritik Ladia, Ankit Yadav, Mayank Singh,
• Abstract要約: 大規模言語モデル(LLM)はますます普及しているが、時間的情報を保持する能力と推論能力は依然として限られている。 本研究は,紀元前1万年から2100年の間,新しい数値時間データセットである textbfTempUN に関する12の最先端モデルを用いて実験を行った。
• 参考スコア（独自算出の注目度）: 1.472789264981363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly ubiquitous, yet their ability to retain and reason about temporal information remains limited, hindering their application in real-world scenarios where understanding the sequential nature of events is crucial. Our study experiments with 12 state-of-the-art models (ranging from 2B to 70B+ parameters) on a novel numerical-temporal dataset, \textbf{TempUN}, spanning from 10,000 BCE to 2100 CE, to uncover significant temporal retention and comprehension limitations. We propose six metrics to assess three learning paradigms to enhance temporal knowledge acquisition. Our findings reveal that open-source models exhibit knowledge gaps more frequently, suggesting a trade-off between limited knowledge and incorrect responses. Additionally, various fine-tuning approaches significantly improved performance, reducing incorrect outputs and impacting the identification of 'information not available' in the generations. The associated dataset and code are available at (https://github.com/lingoiitgn/TempUN).
• Abstract（参考訳）: 大規模言語モデル(LLM)はますます普及しているが、その時間的情報の保持と推論能力は依然として限られており、イベントのシーケンシャルな性質を理解することが不可欠である現実のシナリオでの応用を妨げる。 本研究は,紀元前1万年から2100年にわたる新しい時間的データセットである \textbf{TempUN} 上で,12種類の最先端モデル(2Bから70B以上のパラメータ)を用いて実験を行い,時間的保持と理解の限界を明らかにした。 本研究では,時間的知識獲得を促進するための3つの学習パラダイムを評価するための6つの指標を提案する。 その結果,オープンソースモデルは知識ギャップの頻度が高く,限られた知識と誤った応答とのトレードオフが示唆された。 さらに、様々な微調整アプローチによって性能が大幅に向上し、不正な出力が減少し、世代間での「入手できない情報」の識別に影響を及ぼした。 関連するデータセットとコードは (https://github.com/lingoiitgn/TempUN) で公開されている。

関連論文リスト

• ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains [19.428141279030527]
  提案するChroKnowledgeは,大規模言語モデルの非パラメトリック時系列知識を評価・更新するための新しいサンプリングベースフレームワークである。 我々のフレームワークは、生物医学領域と一般領域の両方において、タイムライン全体にわたる全体的な知識の更新に成功した。 我々は,ChroKnowPromptの時間的特性に基づく包括的分析を行い,本質的な時間的知識を引き出すための様々なモデルの可能性を検証する。
  論文  参考訳（メタデータ） (2024-10-13T15:08:49Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner [41.462673126500974]
  インスタンス・インクリメンタル・ラーニング(IIL)は、同じクラスのデータで継続的に学習することに焦点を当てている。 そこで本研究では,教師に知識を集中させ,新たな知識を習得し易くするための新しい意思決定境界対応蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:49:51Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Exploring the Limits of Historical Information for Temporal Knowledge Graph Extrapolation [59.417443739208146]
  本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。 CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。 提案したモデルを5つのベンチマークグラフで評価する。
  論文  参考訳（メタデータ） (2023-08-29T03:26:38Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)
• The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources in Natural Language Understanding Systems [87.3207729953778]
  我々は、データセット上で最先端のコア参照解決モデルを評価する。 いくつかのモデルは、事前訓練時間と推論時間の両方で観察された知識について、オンザフライで推論するのに苦労している。 それでも、最高のパフォーマンスモデルでさえ、推論時にのみ提示される知識を確実に統合するのは難しいようです。
  論文  参考訳（メタデータ） (2022-12-15T23:26:54Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations [35.51427298619691]
  テキストデータに埋め込まれた時間的知識の強化について検討する。 文脈型言語表現(ECOLA)を用いた時間的知識埋め込みを提案する。 実験の結果,ECOLAはリンク予測タスクにおいてHits@1に関して最大287%の相対的な改善を施し,時間的埋め込みモデルを大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-03-17T20:08:25Z)
• Unsupervised Pre-training with Structured Knowledge for Improving Natural Language Inference [22.648536283569747]
  本研究では,事前学習モデルの異なるコンポーネントにおける構造化知識を活用するモデルを提案する。 以上の結果から,提案モデルは従来のBERTモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-09-08T21:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。