論文の概要: Date Fragments: A Hidden Bottleneck of Tokenization for Temporal Reasoning
- arxiv url: http://arxiv.org/abs/2505.16088v1
- Date: Thu, 22 May 2025 00:06:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:47.949969
- Title: Date Fragments: A Hidden Bottleneck of Tokenization for Temporal Reasoning
- Title（参考訳）: 日付フラグメント:時間的推論のための隠れたトークン化のスロットネック
- Authors: Gagan Bhatia, Maxime Peyrard, Wei Zhao,
- Abstract要約: 我々は,トークン化器が複数桁の日付成分をいかに忠実に保存するかを測定する,単純な解釈可能な日付フラグメンテーション比を導入する。
DateAugBenchは3つの時間的推論タスクにまたがった6500の例のスイートです。
- 参考スコア（独自算出の注目度）: 16.830079924329453
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern BPE tokenizers often split calendar dates into meaningless fragments, e.g., 20250312 $\rightarrow$ 202, 503, 12, inflating token counts and obscuring the inherent structure needed for robust temporal reasoning. In this work, we (1) introduce a simple yet interpretable metric, termed date fragmentation ratio, that measures how faithfully a tokenizer preserves multi-digit date components; (2) release DateAugBench, a suite of 6500 examples spanning three temporal reasoning tasks: context-based date resolution, format-invariance puzzles, and date arithmetic across historical, contemporary, and future regimes; and (3) through layer-wise probing and causal attention-hop analyses, uncover an emergent date-abstraction mechanism whereby large language models stitch together the fragments of month, day, and year components for temporal reasoning. Our experiments show that excessive fragmentation correlates with accuracy drops of up to 10 points on uncommon dates like historical and futuristic dates. Further, we find that the larger the model, the faster the emergent date abstraction that heals date fragments is accomplished. Lastly, we observe a reasoning path that LLMs follow to assemble date fragments, typically differing from human interpretation (year $\rightarrow$ month $\rightarrow$ day).
- Abstract（参考訳）: 現代のBPEトークンライザは、しばしば日付を、20250312 $\rightarrow$ 202, 503, 12のように意味のない断片に分割する。
本研究は,(1)多桁日付成分を忠実に保存する方法を測る,単純な解釈可能な尺度である日付フラグメンテーション比(deateAugBench)を導入すること,2)3つの時間的推論課題にまたがる6500件の例を示す,DateAugBench(DateAugBench)を公開すること,(3)時間的推論のための月,日,年の各要素を縫い合わせる,階層的・現代的・未来的要因を階層的に探索・因果的注目ホップ分析することにより,創発的日付抽出機構を明らかにすること,である。
実験の結果, 過度な断片化は, 歴史的, 未来的年代などの異常な日付において, 最大10ポイントの精度低下と相関していることがわかった。
さらに、モデルが大きいほど、日付の断片を修復する創発的日付の抽象化が高速になる。
最後に、LLMが日付の断片を組み立てるために追従する推論パスを観察し、典型的には人間の解釈とは異なっている(year $\rightarrow$ month $\rightarrow$ day)。
関連論文リスト
- DATETIME: A new benchmark to measure LLM translation and reasoning capabilities [0.0]
本稿では,日時における大規模言語モデル(LLM)の翻訳と推論能力を評価するために設計された,新しい高品質なベンチマークであるDATETIMEを紹介する。
日時は直感的で、人間が処理するのは簡単ですが、LLMには大きな課題があります。
実験の結果,現状のモデルでは,日時における推論に関わる作業が困難であることが示唆された。
論文 参考訳（メタデータ） (2025-04-22T17:52:04Z) - FragRel: Exploiting Fragment-level Relations in the External Memory of Large Language Models [54.13671100638092]
断片接続型階層型メモリベース大規模言語モデル(LLM)を提案する。
外部メモリにおけるフラグメントレベルの関係を定式化し、異なるテキストタイプに対していくつかのインスタンスを提示する。
長いストーリー理解、リポジトリレベルのコード生成、長期チャットにこれらの関係を組み込むことの利点を検証する。
論文 参考訳（メタデータ） (2024-06-05T09:31:37Z) - Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding [57.62275091656578]
時間的複合イベント(TCE)として、長い期間にわたって多くのニュース記事から構成される複合イベントについて述べる。
本稿では,Large Language Models (LLMs) を用いて,TCE内のイベントチェーンを系統的に抽出し,解析する手法を提案する。
論文 参考訳（メタデータ） (2024-06-04T16:42:17Z) - Timeline-based Sentence Decomposition with In-Context Learning for Temporal Fact Extraction [19.96263282146533]
本稿では,自然言語テキストから時間的事実を抽出する方法について述べる。
本稿では,大規模言語モデル(LLM)と文脈内学習を用いたタイムラインに基づく文分解手法を提案する。
実験の結果, TSDRE は HyperRED-Temporal データセットと ComplexTRED データセットの両方で最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2024-05-16T17:48:21Z) - Exploring the Limits of Historical Information for Temporal Knowledge
Graph Extrapolation [59.417443739208146]
本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。
CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。
提案したモデルを5つのベンチマークグラフで評価する。
論文 参考訳（メタデータ） (2023-08-29T03:26:38Z) - More than Classification: A Unified Framework for Event Temporal
Relation Extraction [61.44799147458621]
イベント時間関係抽出(ETRE)は通常、マルチラベル分類タスクとして定式化される。
イベントの開始点と終了点を使ってすべての関係を解釈できることを観察する。
本稿では,時間関係を時間点の論理的表現に変換するイベント時間関係抽出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-28T02:09:08Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - Context-Dependent Semantic Parsing for Temporal Relation Extraction [2.5807659587068534]
テキスト中の時間情報を効果的に抽出するニューラルネットワーク意味表現SMARTERを提案する。
推論フェーズでは、SMARTERは論理形式を実行して時間関係グラフを生成する。
与えられた事象の正確な論理形式表現は、抽出された関係の正確性を保証する。
論文 参考訳（メタデータ） (2021-12-02T00:29:21Z) - Predicting Event Time by Classifying Sub-Level Temporal Relations
Induced from a Unified Representation of Time Anchors [10.67457147373144]
本稿では,複雑な時間関係をサブレベル関係に分解する効果的な方法を提案する。
我々のアプローチは最先端の意思決定ツリーモデルより優れている。
論文 参考訳（メタデータ） (2020-08-14T16:30:07Z) - Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。
本手法は,時間的共通感覚の様々な次元の質予測を行う。
また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
論文 参考訳（メタデータ） (2020-05-08T22:20:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。