論文の概要: Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models
- arxiv url: http://arxiv.org/abs/2406.01863v1
- Date: Tue, 4 Jun 2024 00:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 20:32:51.340544
- Title: Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models
- Title（参考訳）: 効果的な時間認識言語表現を目指して--言語モデルにおける時間的理解の強化を探る
- Authors: Jiexin Wang, Adam Jatowt, Yi Cai,
- Abstract要約: BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。
それぞれの目的は、時間情報のユニークな側面を目標としている。
その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
- 参考スコア（独自算出の注目度）: 24.784375155633427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the evolving field of Natural Language Processing, understanding the temporal context of text is increasingly crucial. This study investigates methods to incorporate temporal information during pre-training, aiming to achieve effective time-aware language representation for improved performance on time-related tasks. In contrast to common pre-trained models like BERT, which rely on synchronic document collections such as BookCorpus and Wikipedia, our research introduces BiTimeBERT 2.0, a novel language model pre-trained on a temporal news article collection. BiTimeBERT 2.0 utilizes this temporal news collection, focusing on three innovative pre-training objectives: Time-Aware Masked Language Modeling (TAMLM), Document Dating (DD), and Time-Sensitive Entity Replacement (TSER). Each objective targets a unique aspect of temporal information. TAMLM is designed to enhance the understanding of temporal contexts and relations, DD integrates document timestamps as chronological markers, and TSER focuses on the temporal dynamics of "Person" entities, recognizing their inherent temporal significance. The experimental results consistently demonstrate that BiTimeBERT 2.0 outperforms models like BERT and other existing pre-trained models, achieving substantial gains across a variety of downstream NLP tasks and applications where time plays a pivotal role.
- Abstract（参考訳）: 自然言語処理の進化する分野では、テキストの時間的文脈を理解することがますます重要になっている。
本研究では,時間関連タスクの性能向上に有効な時間認識言語表現の実現を目的として,事前学習中に時間情報を組み込む手法について検討する。
BookCorpusやWikipediaのような同期文書コレクションに依存するBERTのような事前学習モデルとは対照的に,本稿では,時間ニュース記事コレクションを事前学習した新たな言語モデルであるBiTimeBERT 2.0を紹介した。
BiTimeBERT 2.0は3つの革新的な事前学習目標であるTAMLM(Time-Aware Masked Language Modeling)、DD(Document Dating)、TSER(Time-Sensitive Entity Replacement)に焦点を当てている。
それぞれの目的は、時間情報のユニークな側面を目標としている。
TAMLMは時間的文脈と関係の理解を強化するために設計されており、DDは文書のタイムスタンプを時系列マーカーとして統合し、TSERは「パーソン」エンティティの時間的ダイナミクスに焦点を当て、それらの時間的重要性を認識している。
実験の結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れており、様々なダウンストリームのNLPタスクや、時間が重要な役割を果たすアプリケーションで大幅に向上していることが示された。
関連論文リスト
- TimeCAP: Learning to Contextualize, Augment, and Predict Time Series Events with Large Language Model Agents [52.13094810313054]
TimeCAPは、時系列データのコンテキスト化ツールとしてLarge Language Models(LLM)を創造的に利用する時系列処理フレームワークである。
TimeCAPには2つの独立したLCMエージェントが組み込まれており、1つは時系列のコンテキストをキャプチャするテキスト要約を生成し、もう1つはより情報のある予測を行うためにこのリッチな要約を使用する。
実世界のデータセットによる実験結果から,TimeCAPは時系列イベント予測の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2025-02-17T04:17:27Z) - Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative [65.84249211767921]
テキスト・アズ・タイム・シリーズ(英語版) (TaTS) は時系列の補助変数であると考えている。
TaTSは、既存の数値のみの時系列モデルにプラグインすることができ、ペア化されたテキストで時系列データを効率的に処理することができる。
論文 参考訳（メタデータ） (2025-02-13T03:43:27Z) - Temporal Contrastive Learning for Video Temporal Reasoning in Large Vision-Language Models [44.99833362998488]
TSADP(Temporal Semantic Alignment via Dynamic Prompting)は、時間的推論能力を高める新しいフレームワークである。
VidSitu データセット上での TSADP の評価を行った。
我々の分析は、TSADPの堅牢性、効率性、実用性を強調し、ビデオ言語理解の分野における一歩を踏み出した。
論文 参考訳（メタデータ） (2024-12-16T02:37:58Z) - Time Machine GPT [15.661920010658626]
大規模言語モデル(LLM)は、広範かつ時間的に区別されないテキストコーパスでしばしば訓練される。
このアプローチは言語の性質の進化と一致していない。
本稿では,Time Machine GPT (TiMaGPT) と呼ばれる一連のポイントインタイムLCMを提案する。
論文 参考訳（メタデータ） (2024-04-29T09:34:25Z) - Subspace Chronicles: How Linguistic Information Emerges, Shifts and
Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。
タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。
この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文 参考訳（メタデータ） (2023-10-25T09:09:55Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - Pre-trained Language Model with Prompts for Temporal Knowledge Graph
Completion [30.50032335014021]
我々は、新しいTKGCモデル、すなわち、TKGC(PPT)のための Prompts 付き事前学習言語モデルを提案する。
サンプルの四重項を事前訓練した言語モデル入力に変換し、タイムスタンプ間の間隔を異なるプロンプトに変換することで、暗黙的な意味情報を持つ一貫性のある文を生成する。
我々のモデルは、時間的知識グラフからの情報を言語モデルに効果的に組み込むことができる。
論文 参考訳（メタデータ） (2023-05-13T12:53:11Z) - BiTimeBERT: Extending Pre-Trained Language Representations with
Bi-Temporal Information [41.683057041628125]
本稿では,ニュース記事の時間的収集に基づいて学習した新しい言語表現モデルであるBiTimeBERTを紹介する。
実験の結果、BiTimeBERTはBERTや他の既存の事前学習モデルより一貫して優れていた。
論文 参考訳（メタデータ） (2022-04-27T16:20:09Z) - STAGE: Tool for Automated Extraction of Semantic Time Cues to Enrich
Neural Temporal Ordering Models [4.6150532698347835]
我々は,時系列を自動的に抽出し,それらをニューラルモデルとの統合に適した表現に変換するシステムSTAGEを開発した。
2つのイベントオーダーデータセットで有望な結果を実証し、セマンティックキュー表現と将来の研究の統合における重要な問題を強調します。
論文 参考訳（メタデータ） (2021-05-15T23:34:02Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。