Fugu-MT 論文翻訳(概要): Time Masking for Temporal Language Models

論文の概要: Time Masking for Temporal Language Models

arxiv url: http://arxiv.org/abs/2110.06366v1
Date: Tue, 12 Oct 2021 21:15:23 GMT
ステータス: 処理完了
システム内更新日: 2021-10-15 06:46:53.290603
Title: Time Masking for Temporal Language Models
Title（参考訳）: 時相言語モデルのための時間マスキング
Authors: Guy D. Rosin, Ido Guy, Kira Radinsky
Abstract要約: 本研究では,テキストの付加文脈として時間を用いるテンポバーベットという時間的文脈言語モデルを提案する。本手法は,時相情報によるテキストの修正と時間マスキング(補足時間情報に対する特定のマスキング)に基づく。
参考スコア（独自算出の注目度）: 23.08079115356717
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Our world is constantly evolving, and so is the content on the web. Consequently, our languages, often said to mirror the world, are dynamic in nature. However, most current contextual language models are static and cannot adapt to changes over time. In this work, we propose a temporal contextual language model called TempoBERT, which uses time as an additional context of texts. Our technique is based on modifying texts with temporal information and performing time masking - specific masking for the supplementary time information. We leverage our approach for the tasks of semantic change detection and sentence time prediction, experimenting on diverse datasets in terms of time, size, genre, and language. Our extensive evaluation shows that both tasks benefit from exploiting time masking.
Abstract（参考訳）: 私たちの世界は常に進化し続けており、web上のコンテンツもそうである。それゆえ、我々の言語は、しばしば世界を反映していると言われるが、自然界では動的である。しかし、現在のコンテキスト言語モデルは静的であり、時間とともに変更に適応できない。本研究では,テキストの追加文脈として時間を用いるテンポバーストという時間的文脈言語モデルを提案する。本手法は,時相情報によるテキストの修正と時間マスキング(補足時間情報に対する特定のマスキング)に基づく。我々は,意味変化の検出と文時間予測のタスクにアプローチを活用し,時間,サイズ,ジャンル,言語といったさまざまなデータセットを実験する。広範な評価の結果,両タスクとも時間マスキングのメリットが示された。

関連論文リスト

Language in the Flow of Time: Time-Series-Paired Texts Weaved into a Unified Temporal Narrative [65.84249211767921]
テキスト・アズ・タイム・シリーズ(英語版) (TaTS) は時系列の補助変数であると考えている。 TaTSは、既存の数値のみの時系列モデルにプラグインすることができ、ペア化されたテキストで時系列データを効率的に処理することができる。
論文参考訳（メタデータ） (2025-02-13T03:43:27Z)
VITRO: Vocabulary Inversion for Time-series Representation Optimization [21.338428379212704]
本稿では,自然言語の離散的,意味的な性質と時系列データの連続的,数値的性質とのギャップを埋めるために,VITROを提案する。学習可能な時系列固有の擬単語埋め込みは、既存の汎用言語モデル語彙よりも時系列データの表現が優れていることを示す。
論文参考訳（メタデータ） (2024-12-23T19:24:51Z)
MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
論文参考訳（メタデータ） (2024-06-25T18:39:43Z)
Towards Effective Time-Aware Language Representation: Exploring Enhanced Temporal Understanding in Language Models [24.784375155633427]
BiTimeBERT 2.0は、テンポラリニュース記事コレクションに事前トレーニングされた新しい言語モデルである。それぞれの目的は、時間情報のユニークな側面を目標としている。その結果、BiTimeBERT 2.0はBERTや他の既存のトレーニング済みモデルよりも優れています。
論文参考訳（メタデータ） (2024-06-04T00:30:37Z)
Time Machine GPT [15.661920010658626]
大規模言語モデル(LLM)は、広範かつ時間的に区別されないテキストコーパスでしばしば訓練される。このアプローチは言語の性質の進化と一致していない。本稿では,Time Machine GPT (TiMaGPT) と呼ばれる一連のポイントインタイムLCMを提案する。
論文参考訳（メタデータ） (2024-04-29T09:34:25Z)
Temporal Validity Change Prediction [20.108317515225504]
既存のベンチマークタスクは、1つのステートメントの時間的妥当性を識別するモデルを必要とする。多くの場合、利用可能なテキストストリームから、ストーリー中の文やソーシャルメディアプロファイル上の投稿などの追加の文脈情報を集めることができる。本稿では,このような変化を誘発する文脈文を検出する機械学習モデルの能力をベンチマークした自然言語処理タスクである時間的妥当性変化予測を提案する。
論文参考訳（メタデータ） (2024-01-01T14:58:53Z)
Time is Encoded in the Weights of Finetuned Language Models [65.71926562424795]
言語モデルを新しい時間周期にカスタマイズするためのシンプルなツールである時間ベクトルを提示する。時間ベクトルは、言語モデルを1回からデータに微調整することで生成される。このベクトルは、我々の実験が示すように、その期間からテキストの性能を向上させる重み空間の方向を特定する。
論文参考訳（メタデータ） (2023-12-20T20:04:45Z)
Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training [56.74440457571821]
我々は、構文、意味論、推論を含むタスクを、200万の事前学習ステップと5つのシードで分析する。タスクや時間にまたがる重要な学習フェーズを特定し、その間にサブスペースが出現し、情報を共有し、後に専門化するために混乱する。この結果は,モデル解釈可能性,マルチタスク学習,限られたデータからの学習に影響を及ぼす。
論文参考訳（メタデータ） (2023-10-25T09:09:55Z)
Temporal Attention for Language Models [24.34396762188068]
本稿では,トランスアーキテクチャのキーコンポーネントである自己注意機構を拡張し,時間的注意を喚起する。時間的注意は、任意のトランスモデルに適用することができ、入力テキストに関連する時間ポイントを添付する必要がある。我々はこれらの表現を意味変化検出のタスクに活用する。提案したモデルでは,すべてのデータセットに対して最先端の結果が得られた。
論文参考訳（メタデータ） (2022-02-04T11:55:34Z)
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation [63.195935452646815]
本稿では,自己教師付き事前学習のためのテキストのドメイン適応マスキングとタスク適応マスキングを自動生成する手法を提案する。本稿では,マスキング政策を学習する新しい強化学習フレームワークを提案する。我々はいくつかの質問応答とテキスト分類データセットに基づいてニューラルマスク生成器(NMG)を検証する。
論文参考訳（メタデータ） (2020-10-06T13:27:01Z)
Local-Global Video-Text Interactions for Temporal Grounding [77.5114709695216]
本稿では,テキストクエリに関連するビデオの時間間隔を特定することを目的とした,テキスト間時間グラウンドリングの問題に対処する。そこで本研究では,テキストクエリにおける意味句の中間レベルの特徴の集合を抽出する,新しい回帰モデルを用いてこの問題に対処する。提案手法は,ローカルからグローバルへのコンテキスト情報を活用することにより,目標時間間隔を効果的に予測する。
論文参考訳（メタデータ） (2020-04-16T08:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。