論文の概要: Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models
- arxiv url: http://arxiv.org/abs/2406.01863v1
- Date: Tue, 4 Jun 2024 00:30:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 20:32:51.340544
- Title: Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models
- Title（参考訳）: 効果的な時間認識言語表現を目指して--言語モデルにおける時間的理解の強化を探る
- Authors: Jiexin Wang, Adam Jatowt, Yi Cai,
- Abstract要約: BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。
それぞれの目的は、時間情報のユニークな側面を目標としている。
その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
- 参考スコア（独自算出の注目度）: 24.784375155633427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the evolving field of Natural Language Processing, understanding the temporal context of text is increasingly crucial. This study investigates methods to incorporate temporal information during pre-training, aiming to achieve effective time-aware language representation for improved performance on time-related tasks. In contrast to common pre-trained models like BERT, which rely on synchronic document collections such as BookCorpus and Wikipedia, our research introduces BiTimeBERT 2.0, a novel language model pre-trained on a temporal news article collection. BiTimeBERT 2.0 utilizes this temporal news collection, focusing on three innovative pre-training objectives: Time-Aware Masked Language Modeling (TAMLM), Document Dating (DD), and Time-Sensitive Entity Replacement (TSER). Each objective targets a unique aspect of temporal information. TAMLM is designed to enhance the understanding of temporal contexts and relations, DD integrates document timestamps as chronological markers, and TSER focuses on the temporal dynamics of "Person" entities, recognizing their inherent temporal significance. The experimental results consistently demonstrate that BiTimeBERT 2.0 outperforms models like BERT and other existing pre-trained models, achieving substantial gains across a variety of downstream NLP tasks and applications where time plays a pivotal role.
- Abstract（参考訳）: 自然言語処理の進化する分野では、テキストの時間的文脈を理解することがますます重要になっている。
本研究では,時間関連タスクの性能向上に有効な時間認識言語表現の実現を目的として,事前学習中に時間情報を組み込む手法について検討する。
BookCorpusやWikipediaのような同期文書コレクションに依存するBERTのような事前学習モデルとは対照的に,本稿では,時間ニュース記事コレクションを事前学習した新たな言語モデルであるBiTimeBERT 2.0を紹介した。
BiTimeBERT 2.0は3つの革新的な事前学習目標であるTAMLM(Time-Aware Masked Language Modeling)、DD(Document Dating)、TSER(Time-Sensitive Entity Replacement)に焦点を当てている。
それぞれの目的は、時間情報のユニークな側面を目標としている。
TAMLMは時間的文脈と関係の理解を強化するために設計されており、DDは文書のタイムスタンプを時系列マーカーとして統合し、TSERは「パーソン」エンティティの時間的ダイナミクスに焦点を当て、それらの時間的重要性を認識している。
実験の結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れており、様々なダウンストリームのNLPタスクや、時間が重要な役割を果たすアプリケーションで大幅に向上していることが示された。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - Time Machine GPT [15.661920010658626]
大規模言語モデル(LLM)は、広範かつ時間的に区別されないテキストコーパスでしばしば訓練される。
このアプローチは言語の性質の進化と一致していない。
本稿では,Time Machine GPT (TiMaGPT) と呼ばれる一連のポイントインタイムLCMを提案する。
論文 参考訳（メタデータ） (2024-04-29T09:34:25Z) - TEI2GO: A Multilingual Approach for Fast Temporal Expression Identification [2.868883216530741]
TEI2GOモデルを導入し、HeidelTimeの有効性に匹敵するが、実行時間を大幅に改善した。
TEI2GOモデルをトレーニングするために,手動で注釈付けされた参照コーパスと,HeidelTimeに注釈付けされたニューステキストの包括的弱ラベル付きコーパスであるHeidelTime''を開発した。
コード、アノテーション、モデルは、コミュニティの探索と使用のために公開されています。
論文 参考訳（メタデータ） (2024-03-25T14:23:03Z) - Subspace Chronicles: How Linguistic Information Emerges, Shifts and
Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。
タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。
この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文 参考訳（メタデータ） (2023-10-25T09:09:55Z) - Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.20279343734548]
時系列予測は多くの実世界の力学系において重要な意味を持つ。
時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。
Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (2023-10-03T01:31:25Z) - Pre-trained Language Model with Prompts for Temporal Knowledge Graph
Completion [30.50032335014021]
我々は、新しいTKGCモデル、すなわち、TKGC(PPT)のための Prompts 付き事前学習言語モデルを提案する。
サンプルの四重項を事前訓練した言語モデル入力に変換し、タイムスタンプ間の間隔を異なるプロンプトに変換することで、暗黙的な意味情報を持つ一貫性のある文を生成する。
我々のモデルは、時間的知識グラフからの情報を言語モデルに効果的に組み込むことができる。
論文 参考訳（メタデータ） (2023-05-13T12:53:11Z) - HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training [49.52679453475878]
本稿では,モーメントとテキスト間の相互アライメントをモデル化するための時間対応ビデオ言語事前学習フレームワークHiTeAを提案する。
15の精確なビデオ言語理解と生成タスクに関する最先端の成果を得た。
論文 参考訳（メタデータ） (2022-12-30T04:27:01Z) - BiTimeBERT: Extending Pre-Trained Language Representations with
Bi-Temporal Information [41.683057041628125]
本稿では,ニュース記事の時間的収集に基づいて学習した新しい言語表現モデルであるBiTimeBERTを紹介する。
実験の結果、BiTimeBERTはBERTや他の既存の事前学習モデルより一貫して優れていた。
論文 参考訳（メタデータ） (2022-04-27T16:20:09Z) - STAGE: Tool for Automated Extraction of Semantic Time Cues to Enrich
Neural Temporal Ordering Models [4.6150532698347835]
我々は,時系列を自動的に抽出し,それらをニューラルモデルとの統合に適した表現に変換するシステムSTAGEを開発した。
2つのイベントオーダーデータセットで有望な結果を実証し、セマンティックキュー表現と将来の研究の統合における重要な問題を強調します。
論文 参考訳（メタデータ） (2021-05-15T23:34:02Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。