論文の概要: TimeBERT: Enhancing Pre-Trained Language Representations with Temporal Information

• arxiv url: http://arxiv.org/abs/2204.13032v1
• Date: Wed, 27 Apr 2022 16:20:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 16:39:23.004678
• Title: TimeBERT: Enhancing Pre-Trained Language Representations with Temporal Information
• Title（参考訳）: TimeBERT: 時間情報による事前学習言語表現の強化
• Authors: Jiexin Wang, Adam Jatowt, Masatoshi Yoshikawa
• Abstract要約: 本研究では,事前学習中に時間情報を統合する手法について検討し,時間関連タスクの性能をさらに向上させる。 本稿では,ニュース記事の時間的収集に基づいて学習した新しい言語表現モデルであるTimeBERTを紹介する。 実験の結果、TimeBERTはBERTや他の既存の事前学習モデルより一貫して優れていた。
• 参考スコア（独自算出の注目度）: 40.4248402786795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time is an important aspect of text documents, which has been widely exploited in natural language processing and has strong influence, for example, in temporal information retrieval, where the temporal information of queries or documents need to be identified for relevance estimation. Event-related tasks like event ordering, which aims to order events by their occurrence time, also need to determine the temporal information of events. In this work, we investigate methods for incorporating temporal information during pre-training, to further improve the performance on time-related tasks. Compared with BERT which utilizes synchronic document collections (BooksCorpus and English Wikipedia) as the training corpora, we use long-span temporal news collection for building word representations, since temporal information constitutes one of the most significant features of news articles. We then introduce TimeBERT, a novel language representation model trained on a temporal collection of news articles via two new pre-training tasks, which harness two distinct temporal signals to construct time-aware language representation. The experimental results show that TimeBERT consistently outperforms BERT and other existing pre-trained models, with substantial gains on different downstream NLP tasks or applications for which time is of importance.
• Abstract（参考訳）: タイムは、自然言語処理において広く活用され、例えば時間的情報検索において、関連性評価のためにクエリやドキュメントの時間的情報を特定する必要があるなど、強い影響を持つテキスト文書の重要な側面である。 イベントの順序付けのようなイベント関連タスクは、イベントの時間的情報を決定する必要がある。 本研究では,事前学習中に時間情報を統合する手法について検討し,時間関連タスクの性能向上を図る。 同期文書コレクション(BooksCorpus と English Wikipedia)をトレーニングコーパスとして利用するBERTと比較して,時間的情報がニュース記事の最も重要な特徴の1つであるため,単語表現構築に長時間の時間的ニュースコレクションを使用する。 次に、タイムアウェアな言語表現を構築するために、2つの異なる時間信号を利用する2つの新しい事前学習タスクを通して、ニュース記事の時間的収集に基づいて訓練された新しい言語表現モデルであるTimeBERTを紹介する。 実験の結果、TimeBERTはBERTや他の既存のトレーニング済みモデルより一貫して優れており、異なる下流のNLPタスクや、どの時間が重要かというアプリケーションに対してかなりの利益があることがわかった。

関連論文リスト

• Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models [24.784375155633427]
  BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。 それぞれの目的は、時間情報のユニークな側面を目標としている。 その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-06-04T00:30:37Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
  我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。 タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。 この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-10-25T09:09:55Z)
• Pre-trained Language Model with Prompts for Temporal Knowledge Graph Completion [30.50032335014021]
  我々は、新しいTKGCモデル、すなわち、TKGC(PPT)のための Prompts 付き事前学習言語モデルを提案する。 サンプルの四重項を事前訓練した言語モデル入力に変換し、タイムスタンプ間の間隔を異なるプロンプトに変換することで、暗黙的な意味情報を持つ一貫性のある文を生成する。 我々のモデルは、時間的知識グラフからの情報を言語モデルに効果的に組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-13T12:53:11Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data [38.20984369410193]
  大規模な事前訓練された言語モデルは、プロンプトを通じて様々な下流タスクにおいて、ますますよく機能している。 モデルがタスク固有の知識を、特にゼロショット設定でどこで学習するかは、まだ不明である。 この研究では、モデルが事前学習からタスク固有の能力を示す証拠を見つけ、特に事前学習データのごく小さなサブセットを見つけることに興味がある。
  論文  参考訳（メタデータ） (2022-05-25T09:25:06Z)
• Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
  BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。 本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。 この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
  論文  参考訳（メタデータ） (2021-11-16T15:18:01Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)
• Severing the Edge Between Before and After: Neural Architectures for Temporal Ordering of Events [41.35277143634441]
  本稿では,時間的関係を予測してイベントを順序付けするためのニューラルネットワークと一連のトレーニング手法を提案する。 このタスクにおける重要な課題は、アノテーション付きデータの不足であることを考えると、当社のモデルは事前訓練された表現や転送、マルチタスク学習のいずれかに依存しています。 英語文書のMATRESデータセットの実験は、このタスクに新たな最先端技術を確立する。
  論文  参考訳（メタデータ） (2020-04-08T23:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。