論文の概要: Modeling the Arrival Time of Information-Bearing Events in Natural Language

• arxiv url: http://arxiv.org/abs/2610.14212v1
• Date: Fri, 09 Oct 2026 18:25:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:33:22.474807
• Title: Modeling the Arrival Time of Information-Bearing Events in Natural Language
• Title（参考訳）: 自然言語における情報発信事象の到着時刻のモデル化
• Abstract要約: 本稿では,学習可能なイベント強度関数を持つテキストシーケンスにおいて,重要な情報を含むイベントをモデル化するための新しいアプローチを提案する。 本モデルでは, イベント間隔の履歴と, LLMからの文脈意味表現を入力とし, 新単語と高次トークンの2種類のイベントの到着時刻を予測する。
• 参考スコア（独自算出の注目度）: 4.344418321504706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding how information is distributed over time is fundamental to modeling natural language. While existing empirical studies primarily rely on post-hoc analysis of information-theoretic metrics, such as surprisal, little is known about the generation processes under the surface. We propose a novel approach for addressing this gap using the tool of neural temporal point processes (TPPs) by modeling the key information-bearing events in text sequences with learnable event intensity functions. Our model takes the history of event intervals and the contextual semantic representations from LLMs as input, and predicts the future arrival times for two types of events: new-word and high-surprisal-token. The experimental results reveal an interesting distinction in event intensities: LLMs tend to produce new words at significantly higher rates than humans, while high-surprisal tokens do not exhibit the difference. A decaying pattern of intensity over time is found in new-word events for both humans and LLMs, but not in high-surprisal-token events. Our findings revisit and extend previous studies that use simpler methods; provide supplementary evidence for theories about constrained context representation inherent in human language production; and find a new angle to view human and LLM generation differences.
• Abstract（参考訳）: 自然言語のモデリングには、時間とともに情報がどのように分散されるかを理解することが不可欠である。 既存の実証研究は、主に先験のような情報理論メトリクスのポストホック分析に依存しているが、表面における生成過程についてはほとんど知られていない。 本稿では、学習可能な事象強度関数を持つテキストシーケンスにおける重要な情報付加イベントをモデル化し、ニューラル・テンポラル・ポイント・プロセス(TPP)のツールを用いて、このギャップに対処する新しいアプローチを提案する。 本モデルでは, イベント間隔の履歴と, LLMからの文脈意味表現を入力とし, 新単語と高次トークンの2種類のイベントの到着時刻を予測する。 LLMは人間よりもはるかに高い速度で新しい単語を生成しがちであるが、高次トークンはその違いを示さない。 時間の経過とともに強度が低下するパターンは、人間とLLMの両方の新しい単語のイベントで見られるが、高確率のイベントでは見つからない。 本研究は, より単純な手法を用いた従来の研究を再考し, 人間の言語生産に固有の制約付き文脈表現理論の補足的エビデンスを提供し, 人体とLLMの世代差を見るための新たな角度を見いだす。

関連論文リスト

• Grammar of the Wave: Towards Explainable Multivariate Time Series Event Detection via Neuro-Symbolic VLM Agents [7.342421193902292]
  Event Logic Tree (ELT) は言語記述と物理時系列データを橋渡しする新しい知識表現フレームワークである。 本稿では,信号の可視化からプリミティブを反復的にインスタンス化し,ERT制約下で構成する,ニューロシンボリックなVLMエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-12T03:01:48Z)
• Identifying the Periodicity of Information in Natural Language [6.222108497485838]
  我々はAutoPeriod of Surprisal (APS)と呼ばれる新しい手法を導入する。 APSは標準周期性検出アルゴリズムを採用し、単一の文書のサブプライムシーケンスに存在する重要な周期を識別することができる。 言語における情報の周期性は、より長い距離で効果をもたらす構造的要因と他の駆動要因の両方から共同で得られるものであると結論付けている。
  論文  参考訳（メタデータ） (2025-10-31T07:10:30Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Temporal Insight Enhancement: Mitigating Temporal Hallucination in Multimodal Large Language Models [20.33971942003996]
  本研究では,MLLMにおける事象レベルの幻覚に対処する革新的な手法を提案する。 オンデマンドイベントクエリをアイコンアクションに分解するユニークなメカニズムを提案する。 イベント発生の特定のタイムスタンプを予測するために、CLIPやBLIP2といったモデルを採用しています。
  論文  参考訳（メタデータ） (2024-01-18T10:18:48Z)
• Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
  我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。 タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。 この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-10-25T09:09:55Z)
• Underspecification in Language Modeling Tasks: A Causality-Informed Study of Gendered Pronoun Resolution [0.0]
  本稿では,素因性相関の生成における不特定性の役割を説明するための簡単な因果機構を提案する。 その単純さにもかかわらず、我々の因果モデルは2つの軽量ブラックボックス評価手法の開発を直接的に知らせる。
  論文  参考訳（メタデータ） (2022-09-30T23:10:11Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
  この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。 本手法は,時間的共通感覚の様々な次元の質予測を行う。 また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
  論文  参考訳（メタデータ） (2020-05-08T22:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。