Fugu-MT 論文翻訳(概要): Time Masking for Temporal Language Models

論文の概要: Time Masking for Temporal Language Models

arxiv url: http://arxiv.org/abs/2110.06366v2
Date: Thu, 14 Oct 2021 07:23:41 GMT
ステータス: 処理完了
システム内更新日: 2021-10-15 11:01:33.723173
Title: Time Masking for Temporal Language Models
Title（参考訳）: 時相言語モデルのための時間マスキング
Authors: Guy D. Rosin, Ido Guy, Kira Radinsky
Abstract要約: 本研究では,テキストの付加文脈として時間を用いるテンポバーベットという時間的文脈言語モデルを提案する。本手法は,時相情報によるテキストの修正と時間マスキング(補足時間情報に対する特定のマスキング)に基づく。
参考スコア（独自算出の注目度）: 23.08079115356717
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Our world is constantly evolving, and so is the content on the web. Consequently, our languages, often said to mirror the world, are dynamic in nature. However, most current contextual language models are static and cannot adapt to changes over time. In this work, we propose a temporal contextual language model called TempoBERT, which uses time as an additional context of texts. Our technique is based on modifying texts with temporal information and performing time masking - specific masking for the supplementary time information. We leverage our approach for the tasks of semantic change detection and sentence time prediction, experimenting on diverse datasets in terms of time, size, genre, and language. Our extensive evaluation shows that both tasks benefit from exploiting time masking.
Abstract（参考訳）: 私たちの世界は常に進化し続けており、web上のコンテンツもそうである。それゆえ、我々の言語は、しばしば世界を反映していると言われるが、自然界では動的である。しかし、現在のコンテキスト言語モデルは静的であり、時間とともに変更に適応できない。本研究では,テキストの追加文脈として時間を用いるテンポバーストという時間的文脈言語モデルを提案する。本手法は,時相情報によるテキストの修正と時間マスキング(補足時間情報に対する特定のマスキング)に基づく。我々は,意味変化の検出と文時間予測のタスクにアプローチを活用し,時間,サイズ,ジャンル,言語といったさまざまなデータセットを実験する。広範な評価の結果,両タスクとも時間マスキングのメリットが示された。

関連論文リスト

MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
論文参考訳（メタデータ） (2024-06-25T18:39:43Z)
Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models [24.784375155633427]
BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。それぞれの目的は、時間情報のユニークな側面を目標としている。その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
論文参考訳（メタデータ） (2024-06-04T00:30:37Z)
Time Machine GPT [15.661920010658626]
大規模言語モデル(LLM)は、広範かつ時間的に区別されないテキストコーパスでしばしば訓練される。このアプローチは言語の性質の進化と一致していない。本稿では,Time Machine GPT (TiMaGPT) と呼ばれる一連のポイントインタイムLCMを提案する。
論文参考訳（メタデータ） (2024-04-29T09:34:25Z)
Temporal Validity Change Prediction [20.108317515225504]
既存のベンチマークタスクは、1つのステートメントの時間的妥当性を識別するモデルを必要とする。多くの場合、利用可能なテキストストリームから、ストーリー中の文やソーシャルメディアプロファイル上の投稿などの追加の文脈情報を集めることができる。本稿では,このような変化を誘発する文脈文を検出する機械学習モデルの能力をベンチマークした自然言語処理タスクである時間的妥当性変化予測を提案する。
論文参考訳（メタデータ） (2024-01-01T14:58:53Z)
Time is Encoded in the Weights of Finetuned Language Models [65.71926562424795]
言語モデルを新しい時間周期にカスタマイズするためのシンプルなツールである時間ベクトルを提示する。時間ベクトルは、言語モデルを1回からデータに微調整することで生成される。このベクトルは、我々の実験が示すように、その期間からテキストの性能を向上させる重み空間の方向を特定する。
論文参考訳（メタデータ） (2023-12-20T20:04:45Z)
Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文参考訳（メタデータ） (2023-10-25T09:09:55Z)
Temporal Perceiving Video-Language Pre-training [112.1790287726804]
本研究は、時間的・意味的な微粒なアライメントを可能にする、新しいテキスト-ビデオのローカライゼーション・プレテキストタスクを導入する。具体的には、テキスト-ビデオのローカライゼーションは、テキスト記述が与えられたビデオの開始と終了の境界を予測するモーメント検索から成っている。提案手法は,細粒度フレーム表現と単語表現を結合し,単一モードにおける異なるインスタンスの表現を暗黙的に区別する。
論文参考訳（メタデータ） (2023-01-18T12:15:47Z)
Temporal Attention for Language Models [24.34396762188068]
本稿では,トランスアーキテクチャのキーコンポーネントである自己注意機構を拡張し,時間的注意を喚起する。時間的注意は、任意のトランスモデルに適用することができ、入力テキストに関連する時間ポイントを添付する必要がある。我々はこれらの表現を意味変化検出のタスクに活用する。提案したモデルでは,すべてのデータセットに対して最先端の結果が得られた。
論文参考訳（メタデータ） (2022-02-04T11:55:34Z)
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation [63.195935452646815]
本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
論文参考訳（メタデータ） (2020-10-06T13:27:01Z)
Enriching Word Embeddings with Temporal and Spatial Information [37.0220769789037]
時間と位置を条件とした単語表現学習モデルを提案する。我々は、時間と位置をスタンプしたコーパスでモデルをトレーニングし、時間と場所のセマンティクスをキャプチャできる量的および質的な評価の両方を用いて示す。
論文参考訳（メタデータ） (2020-10-02T03:15:03Z)
Local-Global Video-Text Interactions for Temporal Grounding [77.5114709695216]
本稿では,テキストクエリに関連するビデオの時間間隔を特定することを目的とした,テキスト間時間グラウンドリングの問題に対処する。そこで本研究では,テキストクエリにおける意味句の中間レベルの特徴の集合を抽出する,新しい回帰モデルを用いてこの問題に対処する。提案手法は,ローカルからグローバルへのコンテキスト情報を活用することにより,目標時間間隔を効果的に予測する。
論文参考訳（メタデータ） (2020-04-16T08:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。