論文の概要: Time Waits for No One! Analysis and Challenges of Temporal Misalignment

• arxiv url: http://arxiv.org/abs/2111.07408v1
• Date: Sun, 14 Nov 2021 18:29:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 05:35:54.234776
• Title: Time Waits for No One! Analysis and Challenges of Temporal Misalignment
• Title（参考訳）: タイム・ウェイト・フォー・ノー・ワン! 時間的過失の分析と課題
• Authors: Kelvin Luu, Daniel Khashabi, Suchin Gururangan, Karishma Mandyam, Noah A. Smith
• Abstract要約: 時間的ミスアライメントの効果を定量化するために、異なるドメインにまたがる8つの多様なタスクのスイートを構築します。 時間的不整合がタスクパフォーマンスに与える影響は,以前報告されたよりも強い。 我々の研究は、NLPモデルの時間的堅牢性を改善するために、継続的な研究を動機付けている。
• 参考スコア（独自算出の注目度）: 42.106972477571226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When an NLP model is trained on text data from one time period and tested or deployed on data from another, the resulting temporal misalignment can degrade end-task performance. In this work, we establish a suite of eight diverse tasks across different domains (social media, science papers, news, and reviews) and periods of time (spanning five years or more) to quantify the effects of temporal misalignment. Our study is focused on the ubiquitous setting where a pretrained model is optionally adapted through continued domain-specific pretraining, followed by task-specific finetuning. We establish a suite of tasks across multiple domains to study temporal misalignment in modern NLP systems. We find stronger effects of temporal misalignment on task performance than have been previously reported. We also find that, while temporal adaptation through continued pretraining can help, these gains are small compared to task-specific finetuning on data from the target time period. Our findings motivate continued research to improve temporal robustness of NLP models.
• Abstract（参考訳）: ある期間のテキストデータに基づいてNLPモデルをトレーニングし、別の期間のデータに対してテストまたはデプロイした場合、結果として生じる時間的ミスアライメントは、エンドタスクのパフォーマンスを劣化させる可能性がある。 本研究では,様々な分野 (ソーシャルメディア, 科学論文, ニュース, レビュー) にまたがる8つのタスク群と, 期間 (5年以上) を設定し, 時間的不一致の効果を定量化する。 本研究は,事前学習モデルが継続したドメイン固有事前学習とタスク固有微調整によって任意に適応されるユビキタスな設定に着目した。 我々は、現代のNLPシステムにおける時間的不整合を研究するために、複数のドメインにまたがる一連のタスクを確立する。 時間的ずれがタスクパフォーマンスに与える影響は,以前報告されたよりも強い。 また、継続事前訓練による時間適応は有効であるが、これらの利得は、目標時間からのデータに対するタスク固有の微調整に比べて小さい。 本研究はnlpモデルの時間的ロバスト性を改善するための研究を継続する動機となった。

関連論文リスト

• Beyond Forecasting: Compositional Time Series Reasoning for End-to-End Task Execution [19.64976935450366]
  時系列データから複雑な多段階推論タスクを処理する新しいタスクであるコンポジション時系列推論を導入する。 具体的には、時系列データに構造的および構成的推論能力を必要とする様々な質問事例に焦点を当てる。 我々は,大規模言語モデル(LLM)を用いて複雑なタスクをプログラムのステップに分解するプログラム支援手法であるTS-Reasonerを開発した。
  論文  参考訳（メタデータ） (2024-10-05T06:04:19Z)
• A Systematic Analysis on the Temporal Generalization of Language Models in Social Media [12.035331011654078]
  本稿では,ソーシャルメディア,特にTwitterの時間的変化に注目した。 本研究では,言語モデル(LM)の性能を時間的シフトで評価するための統一評価手法を提案する。
  論文  参考訳（メタデータ） (2024-05-15T05:41:06Z)
• Large Pre-trained time series models for cross-domain Time series analysis tasks [20.228846068418765]
  本稿では,事前学習中に最適なデータセット固有のセグメンテーション戦略を自動的に識別する,テクスタイディショナルセグメンテーションの新たな手法を提案する。 これにより、異なるダウンストリーム時系列分析タスクに微調整され、ゼロショット設定下では、LPTMはドメイン固有の最先端モデルと同等かそれ以上の性能を発揮する。
  論文  参考訳（メタデータ） (2023-11-19T20:16:16Z)
• UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting [59.11817101030137]
  この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。 効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。 効果的なドメイン間時系列学習のためのUniTimeを提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:30:22Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• TeST: Test-time Self-Training under Distribution Shift [99.68465267994783]
  Test-Time Self-Training (TeST)は、あるソースデータとテスト時の新しいデータ分散に基づいてトレーニングされたモデルを入力する技術である。 また,TeSTを用いたモデルでは,ベースラインテスト時間適応アルゴリズムよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2022-09-23T07:47:33Z)
• Temporal Effects on Pre-trained Models for Language Processing Tasks [9.819970078135343]
  本稿では, 時間的モデル劣化がそれほど大きな問題ではないことを示すために, 大規模なニューラルプレトレーニング表現を用いた実験を行った。 しかし、時間的領域適応が有益であり、より最近の時間的データに基づいてシステムが訓練された場合、所定の時間に対してより優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-11-24T20:44:12Z)
• Learning Neural Models for Continuous-Time Sequences [0.0]
  連続時間イベントシーケンス(CTES)の特性について検討し、上記の問題を克服するために、堅牢でスケーラブルなニューラルネットワークベースモデルを設計する。 本研究では,MTPPを用いた事象の生成過程をモデル化し,現実世界の幅広い問題に対処する。
  論文  参考訳（メタデータ） (2021-11-13T20:39:15Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)
• Clinical Risk Prediction with Temporal Probabilistic Asymmetric Multi-Task Learning [80.66108902283388]
  マルチタスク学習手法は、臨床リスク予測などの安全クリティカルな応用に注意を払って使用すべきである。 既存の非対称なマルチタスク学習手法は、低損失のタスクから高損失のタスクへの知識伝達を行うことにより、この負の伝達問題に対処する。 特徴レベルの不確実性に基づいて,特定のタスク/タイムステップから関連する不確実なタスクへの知識伝達を行う,新しい時間的非対称型マルチタスク学習モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-23T06:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。