論文の概要: Do Language Models Consistently Encode the Current Year?

• arxiv url: http://arxiv.org/abs/2608.15507v1
• Date: Sun, 16 Aug 2026 03:22:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.323828
• Title: Do Language Models Consistently Encode the Current Year?
• Title（参考訳）: 言語モデルは現在の年を一貫してエンコードしているか?
• Abstract要約: 現在の時間という一貫した概念は時間的推論において重要であるが、言語モデルが現在の時間を表現する方法がよく理解されていない。 本研究では,動詞の時制から現在年を推定する連想的タスクと,現在年を直接問う宣言的タスクという,概念的に異なる方法で現在年を探索する2つのタスクをコントリビュートする。 どちらのタスクも、訓練後の言語モデルのデータ遮断から1年以内に現在の年を推定する。
• 参考スコア（独自算出の注目度）: 63.20095853332787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A consistent concept of the current time is important for temporal reasoning, yet how language models represent the current time is not well understood. We contribute two tasks that probe the current year in conceptually distinct ways: an associative task, which infers the current year from verb tense, and a declarative task, which directly queries for the current year. Both tasks estimate current years within one year of the post-training data cutoff of instruction-tuned language models. For base models, predictions on the associative task serve as a strong proxy for the pre-training data cutoff, with an average error of only 10 months across 13 models. However, their internal mechanisms diverge: the associative task uses mechanisms similar to factual recall, while the declarative task lacks consistent causal pathways. This divergence poses a challenge for updating the current year in language models. None of prompting, SFT, or weight editing succeed in shifting the associative and declarative years simultaneously. Prompting updates the declarative year (94.6% success across 351 target years) but leaves the associative year nearly unchanged (1.7% success). Year-shifted SFT also fails to shift the associative year, matching the target year in only one of eight models. Weight editing, while effective for both tasks individually, does not generalize across both. Overall, our results show that the current year is not consistently encoded in language models: The associative notion, deeply ingrained in linguistic structures learned in pre-training, uses different causal mechanisms and resists the same modifications that easily shift the declarative notion learned in post-training.
• Abstract（参考訳）: 現在の時間という一貫した概念は時間的推論において重要であるが、言語モデルが現在の時間を表現する方法がよく理解されていない。 本研究では,動詞の時制から現在年を推定する連想タスクと,現在年を直接クエリする宣言タスクという,概念的に異なる方法で現在年を探索する2つのタスクをコントリビュートする。 どちらのタスクも、訓練後の言語モデルのデータ遮断から1年以内に現在の年を推定する。 ベースモデルでは、連想タスクの予測は、トレーニング前のデータ遮断の強力なプロキシとして機能し、平均エラーは13モデルで10ヶ月程度である。 しかし、それらの内部メカニズムは多様化し、連想的タスクは事実的リコールに似たメカニズムを使用し、宣言的タスクは一貫した因果経路を欠いている。 この分岐は、言語モデルにおける現在の年を更新する上での課題である。 プロンプト、SFT、ウェイト編集は、連想年と宣言年を同時にシフトさせることに成功した。 プロンプティングは宣言年(351年で94.6%の成功)を更新するが、連想年はほとんど変わらない(1.7%の成功)。 SFTは8つのモデルのうちの1つで目標年と一致するため、年をシフトすることができない。 重み編集は、両方のタスクに対して個々に有効であるが、どちらのタスクにも一般化しない。 先行学習で学習した言語構造に深く浸透した連想的概念は、異なる因果的メカニズムを使用し、後学習で学んだ宣言的概念を簡単にシフトさせるのと同じ修正に抵抗する。

関連論文リスト

• LiFT: Does Instruction Fine-Tuning Improve In-Context Learning for Longitudinal Modelling by Large Language Models? [15.417461558991832]
  縦方向のNLPタスクは、人間の行動や意見の持続性や変化を検出するために、時間的に順序付けられたテキストの推論を必要とする。 本稿では,多種多様な縦方向モデリングタスクを共有命令スキーマの下で統合する,縦方向命令微調整フレームワークLiFTを紹介する。
  論文  参考訳（メタデータ） (2026-03-25T20:54:12Z)
• DatedGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining [11.689889880795514]
  我々は12の言語モデルのファミリーであるDatedGPTを紹介し、それぞれが約1000億の時間分割データに対してゼロからトレーニングを行った。 複雑度に基づく探索は、各モデルの知識がデータ遮断年によって効果的に束縛されていることを確認します。 私たちはインタラクティブなWebデモを提供しており、ユーザーはさまざまなカットオフ期間のモデルからの応答をクエリして比較することができます。
  論文  参考訳（メタデータ） (2026-03-12T12:04:43Z)
• Donors and Recipients: On Asymmetric Transfer Across Tasks and Languages with Parameter-Efficient Fine-Tuning [61.568735270400786]
  大規模言語モデル(LLM)はタスクや言語間で強く機能する。 あるタスクや言語の改善が他のタスクや言語にどのように影響するか、それらの組み合わせはいまだに理解されていない。
  論文  参考訳（メタデータ） (2025-11-17T13:41:31Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Continual Learning Under Language Shift [6.0783165755651325]
  新しいデータが新しい言語から来るとき、言語モデルを更新する長所と短所について検討する。 本研究では,事前学習の順序や言語の特徴に,前向きおよび後向きの伝達効果がどのように依存するかを検討する。
  論文  参考訳（メタデータ） (2023-11-02T12:54:50Z)
• Improving Temporal Generalization of Pre-trained Language Models with Lexical Semantic Change [28.106524698188675]
  近年の研究では、大規模なニューラルネットワークモデルが時間的一般化能力の低下に悩まされていることが明らかになっている。 本稿では,収束した言語モデルを学習後処理するための,単純かつ効果的な語彙レベルのマスキング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-31T08:12:41Z)
• Training and Inference on Any-Order Autoregressive Models the Right Way [97.39464776373902]
  Any-Order Autoregressive Models (AO-ARMs) のファミリは、任意の条件付きタスクにおいてブレークスルーのパフォーマンスを示している。 我々は、AO-ARMの以前の定式化に対して行うべき重要な改善について確認する。 本手法はトラクタビリティを損なうことなく性能を向上する。
  論文  参考訳（メタデータ） (2022-05-26T18:00:02Z)
• Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models [67.48894919842576]
  最先端の事前訓練された言語モデルは、数式を必要とするタスクにアウト・オブ・ボックスを適用すると、その能力より劣る傾向にある。 本稿では,Arithmetic-Based Pretrainingと呼ばれる拡張事前学習手法を提案する。 本実験は,算数性の向上を必要とする3つのタスクにおいて,算術的事前学習の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-13T16:10:13Z)
• ANNA: Enhanced Language Representation for Question Answering [5.713808202873983]
  事前学習モデルでは,各アプローチが個別にパフォーマンスにどう影響するかを示し,そのアプローチが共同で検討されている。 本稿では,事前学習タスクの拡張と,近隣のトークンにもっと参加して,事前学習言語モデリングのコンテキストの豊かさを把握できる新しい近隣認識機構を提案する。 我々の最良のモデルは、SQuAD 1.1上で95.7% F1と90.6% EMの新たな最先端結果を実現し、RoBERTa、ALBERT、ELECTRA、XLNetといった既存のトレーニング済み言語モデルよりも優れている。
  論文  参考訳（メタデータ） (2022-03-28T05:26:52Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。