論文の概要: Set the Clock: Temporal Alignment of Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2402.16797v2
• Date: Sun, 9 Jun 2024 19:47:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 01:13:35.294320
• Title: Set the Clock: Temporal Alignment of Pretrained Language Models
• Title（参考訳）: クロックの設定:事前訓練された言語モデルの時間的アライメント
• Authors: Bowen Zhao, Zander Brumbaugh, Yizhong Wang, Hannaneh Hajishirzi, Noah A. Smith,
• Abstract要約: 言語モデル(LM)は、多くの時点から派生したWebテキストで訓練されており、一般には、明確な時間的根拠は持たない。 本研究では、事前訓練されたLMの時間的カオスを調査し、その内部知識を目標時間に合わせるための様々な手法を探索する。
• 参考スコア（独自算出の注目度）: 91.82475116870367
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) are trained on web text originating from many points in time and, in general, without any explicit temporal grounding. This work investigates the temporal chaos of pretrained LMs and explores various methods to align their internal knowledge to a target time, which we call "temporal alignment." To do this, we first automatically construct a dataset containing 20K time-sensitive questions and their answers for each year from 2000 to 2023. Based on this dataset, we empirically show that pretrained LMs (e.g., LLaMa2), despite having a recent pretraining cutoff (e.g., 2022), mostly answer questions using earlier knowledge (e.g., in 2019). We then develop several methods, from prompting to finetuning, to align LMs to use their most recent knowledge when answering questions, and investigate various factors in this alignment. Our experiments demonstrate that aligning LLaMa2 to the year 2022 can enhance its performance by up to 62% according to that year's answers. This improvement occurs even without explicitly mentioning time information, indicating the possibility of aligning models' internal sense of time after pretraining. Finally, we find that alignment to a historical time is also possible, with up to 2.8$\times$ the performance of the unaligned LM in 2010 if finetuning models to that year. These findings hint at the sophistication of LMs' internal knowledge organization and the necessity of tuning them properly.
• Abstract（参考訳）: 言語モデル(LM)は、多くの時点から派生したWebテキストに基づいて訓練されており、一般には、明確な時間的根拠は持たない。 本研究では、事前訓練されたLMの時間的カオスを調査し、その内部知識を目標時間に整合させる様々な手法を探索し、これを「時間的アライメント」と呼ぶ。 そこで我々はまず,2000年から2023年にかけて,20Kの時間依存質問とその回答を含むデータセットを自動構築する。 このデータセットに基づいて、最近事前学習されたLM(eg, LLaMa2)がカットオフ(eg, 2022)されているにもかかわらず、ほとんどの場合、以前の知識(eg, 2019)を使用して質問に答えていることを実証的に示す。 そこで我々は,質問に答える際に,最新の知識を利用するためにLMをアライメントし,このアライメントにおける様々な要因を調査する,いくつかの方法を開発した。 LLaMa2を2022年に合わせることで,その年の回答により最大62%の性能向上が期待できることを示す。 この改善は、明示的に時間情報に言及することなく発生し、事前訓練後のモデルの内部感覚を整合させる可能性を示している。 最後に、2010年には、2010年の未整合LMの性能が2.8$\times$となるように、歴史的時間へのアライメントも可能であることを発見した。 これらの知見は、LMの内部知識体系の高度化と、それらを適切に調整する必要があることを示唆している。

関連論文リスト

• Dynamic Uncertainty Ranking: Enhancing In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
  大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。 この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。 モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
  論文  参考訳（メタデータ） (2024-05-15T13:35:43Z)
• Characterizing Mechanisms for Factual Recall in Language Models [18.93018274258127]
  言語モデル(LM)は、しばしば、特定の文脈に現れる新しい情報と事前トレーニングで記憶した事実を統合する必要がある。 このような状況下でのLMの挙動の分布的および機械的決定要因について検討する。 私たちの研究は、モデルの振る舞いを特定のコンポーネントにローカライズできることを示す一連の証拠に寄与します。
  論文  参考訳（メタデータ） (2023-10-24T15:15:18Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• IELM: An Open Information Extraction Benchmark for Pre-Trained Language Models [75.48081086368606]
  我々は、事前学習言語モデル(LM)のための新しいオープン情報抽出(OIE)ベンチマークを導入する。 我々は、事前訓練されたLMに存在するオープンリレーショナル情報を十分に検証することを目的としたOIEベンチマークを作成する。 驚いたことに、事前訓練されたLMは、両方の標準OIEデータセットで競合する性能を得ることができる。
  論文  参考訳（メタデータ） (2022-10-25T16:25:00Z)
• TemporalWiki: A Lifelong Benchmark for Training and Evaluating Ever-Evolving Language Models [31.900232508466928]
  TemporalWikiは、絶え間なく進化する言語モデル(LM)の生涯ベンチマークである 研究者は、LMの以前の知識を定期的に追跡し、各時点の更新/更新知識を取得することができる。 連続的な学習手法による差分データ上でのLMのトレーニングは、ベンチマークのスナップショット全体の12倍の計算コストで、同様の、あるいはより複雑な処理を実現する。
  論文  参考訳（メタデータ） (2022-04-29T16:40:07Z)
• A Dataset for Answering Time-Sensitive Questions [88.95075983560331]
  時間とは、我々の物理的世界において重要な次元である。多くの事実が時間に関して進化することができる。 時間次元を考慮し、既存のQAモデルに時間とともに推論する権限を与えることが重要です。 既存のQAデータセットには、時間に敏感な質問がほとんどないため、モデルの時間的推論能力の診断やベンチマークには適さない。
  論文  参考訳（メタデータ） (2021-08-13T16:42:25Z)
• Time-Aware Language Models as Temporal Knowledge Bases [39.00042720454899]
  言語モデル(LM)は特定のタイミングで収集されたデータのスナップショットに基づいて訓練される。 本稿では,時間とともに変化する事実的知識に対するLMの探索を目的とした診断データセットを提案する。 本稿では,テキストをタイムスタンプでモデル化する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T06:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。