論文の概要: BiTimeBERT: Extending Pre-Trained Language Representations with Bi-Temporal Information

• arxiv url: http://arxiv.org/abs/2204.13032v4
• Date: Thu, 27 Apr 2023 07:41:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 17:34:12.387242
• Title: BiTimeBERT: Extending Pre-Trained Language Representations with Bi-Temporal Information
• Title（参考訳）: BiTimeBERT: 双方向情報による事前学習言語表現の拡張
• Authors: Jiexin Wang, Adam Jatowt, Masatoshi Yoshikawa, Yi Cai
• Abstract要約: 本稿では,ニュース記事の時間的収集に基づいて学習した新しい言語表現モデルであるBiTimeBERTを紹介する。 実験の結果、BiTimeBERTはBERTや他の既存の事前学習モデルより一貫して優れていた。
• 参考スコア（独自算出の注目度）: 41.683057041628125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time is an important aspect of documents and is used in a range of NLP and IR tasks. In this work, we investigate methods for incorporating temporal information during pre-training to further improve the performance on time-related tasks. Compared with common pre-trained language models like BERT which utilize synchronic document collections (e.g., BookCorpus and Wikipedia) as the training corpora, we use long-span temporal news article collection for building word representations. We introduce BiTimeBERT, a novel language representation model trained on a temporal collection of news articles via two new pre-training tasks, which harnesses two distinct temporal signals to construct time-aware language representations. The experimental results show that BiTimeBERT consistently outperforms BERT and other existing pre-trained models with substantial gains on different downstream NLP tasks and applications for which time is of importance (e.g., the accuracy improvement over BERT is 155\% on the event time estimation task).
• Abstract（参考訳）: 時刻は文書の重要な側面であり、NLPおよびIRタスクで使用される。 本研究では,時間関連タスクの性能向上のために,事前学習中に時間情報を統合する手法を検討する。 同期的なドキュメントコレクション(bookcorpusやwikipediaなど)をトレーニングコーパスとして使用するbertのような一般的な事前学習済み言語モデルと比較すると、単語表現を構築するために長寿命のテンポラルニュース記事コレクションを使用する。 2つの新しい事前学習タスクを通じて、ニュース記事のテンポラリコレクションに基づいてトレーニングされた新しい言語表現モデルであるbitimebertを紹介する。 実験結果によると、BiTimeBERTはBERTや他の既存の事前学習モデルよりずっと優れており、異なる下流のNLPタスクやどの時間が重要か(例えば、BERTの精度改善はイベント時間推定タスクで155\%である)。

関連論文リスト

• Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models [24.784375155633427]
  BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。 それぞれの目的は、時間情報のユニークな側面を目標としている。 その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-06-04T00:30:37Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
  我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。 タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。 この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
  論文  参考訳（メタデータ） (2023-10-25T09:09:55Z)
• Pre-trained Language Model with Prompts for Temporal Knowledge Graph Completion [30.50032335014021]
  我々は、新しいTKGCモデル、すなわち、TKGC(PPT)のための Prompts 付き事前学習言語モデルを提案する。 サンプルの四重項を事前訓練した言語モデル入力に変換し、タイムスタンプ間の間隔を異なるプロンプトに変換することで、暗黙的な意味情報を持つ一貫性のある文を生成する。 我々のモデルは、時間的知識グラフからの情報を言語モデルに効果的に組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-13T12:53:11Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data [38.20984369410193]
  大規模な事前訓練された言語モデルは、プロンプトを通じて様々な下流タスクにおいて、ますますよく機能している。 モデルがタスク固有の知識を、特にゼロショット設定でどこで学習するかは、まだ不明である。 この研究では、モデルが事前学習からタスク固有の能力を示す証拠を見つけ、特に事前学習データのごく小さなサブセットを見つけることに興味がある。
  論文  参考訳（メタデータ） (2022-05-25T09:25:06Z)
• Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
  BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。 本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。 この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
  論文  参考訳（メタデータ） (2021-11-16T15:18:01Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)
• Severing the Edge Between Before and After: Neural Architectures for Temporal Ordering of Events [41.35277143634441]
  本稿では,時間的関係を予測してイベントを順序付けするためのニューラルネットワークと一連のトレーニング手法を提案する。 このタスクにおける重要な課題は、アノテーション付きデータの不足であることを考えると、当社のモデルは事前訓練された表現や転送、マルチタスク学習のいずれかに依存しています。 英語文書のMATRESデータセットの実験は、このタスクに新たな最先端技術を確立する。
  論文  参考訳（メタデータ） (2020-04-08T23:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。