論文の概要: Temporal Attention for Language Models

• arxiv url: http://arxiv.org/abs/2202.02093v1
• Date: Fri, 4 Feb 2022 11:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 21:53:14.556805
• Title: Temporal Attention for Language Models
• Title（参考訳）: 言語モデルに対する時間的注意
• Authors: Guy D. Rosin and Kira Radinsky
• Abstract要約: 本稿では,トランスアーキテクチャのキーコンポーネントである自己注意機構を拡張し,時間的注意を喚起する。 時間的注意は、任意のトランスモデルに適用することができ、入力テキストに関連する時間ポイントを添付する必要がある。 我々はこれらの表現を意味変化検出のタスクに活用する。 提案したモデルでは,すべてのデータセットに対して最先端の結果が得られた。
• 参考スコア（独自算出の注目度）: 24.34396762188068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models based on the transformer architecture have shown great success in NLP. Textual training data often comes from the web and is thus tagged with time-specific information, but most language models ignore this information. They are trained on the textual data alone, limiting their ability to generalize temporally. In this work, we extend the key component of the transformer architecture, i.e., the self-attention mechanism, and propose temporal attention - a time-aware self-attention mechanism. Temporal attention can be applied to any transformer model and requires the input texts to be accompanied with their relevant time points. It allows the transformer to capture this temporal information and create time-specific contextualized word representations. We leverage these representations for the task of semantic change detection; we apply our proposed mechanism to BERT and experiment on three datasets in different languages (English, German, and Latin) that also vary in time, size, and genre. Our proposed model achieves state-of-the-art results on all the datasets.
• Abstract（参考訳）: トランスフォーマーアーキテクチャに基づく事前訓練された言語モデルは、NLPにおいて大きな成功を収めている。 テキストトレーニングデータは、しばしばウェブから来るので、時間固有の情報でタグ付けされるが、ほとんどの言語モデルは、この情報を無視する。 テキストデータだけで訓練され、時間的に一般化する能力を制限する。 本稿では,トランスフォーマーアーキテクチャのキーコンポーネント,すなわち自己着脱機構を拡張し,時間認識自己着脱機構である時間的注意を提案する。 時間的注意は任意のトランスフォーマーモデルに適用でき、入力テキストに関連する時点を添付する必要がある。 変換器はこの時間情報をキャプチャし、時間固有の文脈化された単語表現を作成することができる。 提案手法をBERTに適用し,時間,サイズ,ジャンルによって異なる異なる言語(英語,ドイツ語,ラテン語)の3つのデータセットで実験する。 提案モデルでは,すべてのデータセットで最先端の結果が得られる。

関連論文リスト

• Metadata Matters for Time Series: Informative Forecasting with Transformers [70.38241681764738]
  時系列予測のためのMetaTST(Metadata-informed Time Series Transformer)を提案する。 メタデータの非構造化の性質に取り組むため、MetaTSTは、事前に設計されたテンプレートによってそれらを自然言語に形式化する。 Transformerエンコーダは、メタデータ情報によるシーケンス表現を拡張するシリーズトークンとメタデータトークンの通信に使用される。
  論文  参考訳（メタデータ） (2024-10-04T11:37:55Z)
• Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models [24.784375155633427]
  BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。 それぞれの目的は、時間情報のユニークな側面を目標としている。 その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
  論文  参考訳（メタデータ） (2024-06-04T00:30:37Z)
• Leveraging 2D Information for Long-term Time Series Forecasting with Vanilla Transformers [55.475142494272724]
  時系列予測は、様々な領域における複雑な力学の理解と予測に不可欠である。 GridTSTは、革新的な多方向性の注意を用いた2つのアプローチの利点を組み合わせたモデルである。 このモデルは、さまざまな現実世界のデータセットに対して、常に最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-05-22T16:41:21Z)
• Time Machine GPT [15.661920010658626]
  大規模言語モデル(LLM)は、広範かつ時間的に区別されないテキストコーパスでしばしば訓練される。 このアプローチは言語の性質の進化と一致していない。 本稿では,Time Machine GPT (TiMaGPT) と呼ばれる一連のポイントインタイムLCMを提案する。
  論文  参考訳（メタデータ） (2024-04-29T09:34:25Z)
• Temporal Validity Change Prediction [20.108317515225504]
  既存のベンチマークタスクは、1つのステートメントの時間的妥当性を識別するモデルを必要とする。 多くの場合、利用可能なテキストストリームから、ストーリー中の文やソーシャルメディアプロファイル上の投稿などの追加の文脈情報を集めることができる。 本稿では,このような変化を誘発する文脈文を検出する機械学習モデルの能力をベンチマークした自然言語処理タスクである時間的妥当性変化予測を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:58:53Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
  本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。 単言語,多言語,言語横断の3種類の実験を行った。 本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
  論文  参考訳（メタデータ） (2022-04-19T16:23:07Z)
• TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect [0.0]
  表現不足言語に対するモノリンガルトランスフォーマーに基づく言語モデルのトレーニングの実現可能性について検討する。 構造化データの代わりにノイズの多いWebクローリングデータを使用することは、そのような非標準言語にとってより便利であることを示す。 我々の最高のパフォーマンスTunBERTモデルは、下流の3つのタスクすべてにおいて最先端のタスクに到達または改善します。
  論文  参考訳（メタデータ） (2021-11-25T15:49:50Z)
• Time-Stamped Language Model: Teaching Language Models to Understand the Flow of Events [8.655294504286635]
  我々はこの課題を質問応答問題として定式化することを提案する。 これにより、手続き的テキスト理解に適応することで、他のQAベンチマークで事前訓練された言語モデルを使用することができる。 Proparaデータセットで評価したモデルでは、F1スコアが3.1%上昇した状態での公開結果の改善が示されている。
  論文  参考訳（メタデータ） (2021-04-15T17:50:41Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Multi-channel Transformers for Multi-articulatory Sign Language Translation [59.38247587308604]
  本稿では,多調な手話翻訳課題に取り組み,新しいマルチチャネルトランスフォーマアーキテクチャを提案する。 提案アーキテクチャにより、異なる手話調節間の文脈内関係をトランスフォーマネットワーク内でモデル化することができる。
  論文  参考訳（メタデータ） (2020-09-01T09:10:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。