論文の概要: Temporal Effects on Pre-trained Models for Language Processing Tasks
- arxiv url: http://arxiv.org/abs/2111.12790v1
- Date: Wed, 24 Nov 2021 20:44:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-05 04:29:08.913153
- Title: Temporal Effects on Pre-trained Models for Language Processing Tasks
- Title（参考訳）: 言語処理課題に対する事前学習モデルに対する時間的効果
- Authors: Oshin Agarwal and Ani Nenkova
- Abstract要約: 本稿では, 時間的モデル劣化がそれほど大きな問題ではないことを示すために, 大規模なニューラルプレトレーニング表現を用いた実験を行った。
しかし、時間的領域適応が有益であり、より最近の時間的データに基づいてシステムが訓練された場合、所定の時間に対してより優れた性能が得られる。
- 参考スコア（独自算出の注目度）: 9.819970078135343
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Keeping the performance of language technologies optimal as time passes is of
great practical interest. Here we survey prior work concerned with the effect
of time on system performance, establishing more nuanced terminology for
discussing the topic and proper experimental design to support solid
conclusions about the observed phenomena. We present a set of experiments with
systems powered by large neural pretrained representations for English to
demonstrate that {\em temporal model deterioration} is not as big a concern,
with some models in fact improving when tested on data drawn from a later time
period. It is however the case that {\em temporal domain adaptation} is
beneficial, with better performance for a given time period possible when the
system is trained on temporally more recent data. Our experiments reveal that
the distinctions between temporal model deterioration and temporal domain
adaptation becomes salient for systems built upon pretrained representations.
Finally we examine the efficacy of two approaches for temporal domain
adaptation without human annotations on new data, with self-labeling proving to
be superior to continual pre-training. Notably, for named entity recognition,
self-labeling leads to better temporal adaptation than human annotation.
- Abstract（参考訳）: 時が経つにつれて言語技術の性能を最適に保つことは、非常に実践的な関心事である。
ここでは, システム性能に対する時間の影響に関する先行研究を調査し, トピックと適切な実験設計を議論するために, より曖昧な用語を確立し, 観測された現象に関する確固たる結論を支持する。
そこで本研究では,大規模神経前訓練表現を用いたシステムを用いた実験のセットを提示し,時間的モデル劣化がそれほど大きな問題ではないことを示す。
しかし、"em temporal domain adaptation} は有益であり、システムの時間的より最近のデータに基づいて訓練された場合、所定の期間の性能が向上する。
実験の結果, 時間モデル劣化と時間領域適応の区別は, 事前訓練された表現に基づくシステムにとって有益であることが判明した。
最後に,新たなデータに対する人間のアノテーションを使わずに時間領域適応のための2つの手法の有効性について検討した。
特に、名前付きエンティティ認識では、自己ラベルは人間のアノテーションよりも時間適応性が高い。
関連論文リスト
- Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。
再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。
MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
論文 参考訳（メタデータ） (2024-04-23T16:01:33Z) - Probing the Robustness of Time-series Forecasting Models with
CounterfacTS [1.823020744088554]
我々は,時系列予測タスクにおけるディープラーニングモデルの堅牢性を調査するツールであるCounterfacTSを提示し,公開する。
CounterfacTSにはユーザフレンドリーなインターフェースがあり、時系列データとその予測を視覚化、比較、定量化することができる。
論文 参考訳（メタデータ） (2024-03-06T07:34:47Z) - Revisiting Dynamic Evaluation: Online Adaptation for Large Language
Models [88.47454470043552]
我々は、動的評価(動的評価)としても知られる、テスト時の言語モデルのパラメータをオンラインで微調整する問題を考察する。
オンライン適応はパラメータを時間的に変化する状態に変換し、メモリを重み付けしたコンテキスト長拡張の形式を提供する。
論文 参考訳（メタデータ） (2024-03-03T14:03:48Z) - Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
論文 参考訳（メタデータ） (2024-01-17T07:58:18Z) - Instructed Diffuser with Temporal Condition Guidance for Offline
Reinforcement Learning [71.24316734338501]
テンポラリ・コンポラブル・ディフューザ(TCD)を用いた実効時間条件拡散モデルを提案する。
TCDは、相互作用シーケンスから時間情報を抽出し、時間条件で生成を明示的にガイドする。
提案手法は,従来のSOTAベースラインと比較して最高の性能を達成または一致させる。
論文 参考訳（メタデータ） (2023-06-08T02:12:26Z) - Meta-Auxiliary Learning for Adaptive Human Pose Prediction [26.877194503491072]
高忠実な未来の人間のポーズを予測することは、インテリジェントロボットが人間と対話する上で決定的だ。
ディープラーニングアプローチは、通常、外部データセット上で一般的なトレーニング済みモデルをトレーニングし、すべてのテストサンプルに直接適用する。
本稿では,2つの自己監督型補助タスクを活用するテスト時間適応フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-13T11:17:09Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳（メタデータ） (2023-03-21T15:02:50Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Time Waits for No One! Analysis and Challenges of Temporal Misalignment [42.106972477571226]
時間的ミスアライメントの効果を定量化するために、異なるドメインにまたがる8つの多様なタスクのスイートを構築します。
時間的不整合がタスクパフォーマンスに与える影響は,以前報告されたよりも強い。
我々の研究は、NLPモデルの時間的堅牢性を改善するために、継続的な研究を動機付けている。
論文 参考訳（メタデータ） (2021-11-14T18:29:19Z) - Opinions are Made to be Changed: Temporally Adaptive Stance
Classification [9.061088449712859]
大規模で縦長なスタンスデータセットを2つ導入する。
スタンス分類器の性能持続性を時間とともに評価し、トレーニングデータとテストデータの間の時間的ギャップが増大するにつれて、どのように崩壊するかを示す。
組込み適応に対するいくつかのアプローチを提案し比較し、インクリメンタル・テンポラル・アライメント(ITA)モデルが時間の経過とともに性能低下を減少させる最良の結果をもたらすことを見出した。
論文 参考訳（メタデータ） (2021-08-27T19:47:31Z) - An Enhanced Adversarial Network with Combined Latent Features for
Spatio-Temporal Facial Affect Estimation in the Wild [1.3007851628964147]
本稿では,遅延特徴に基づく時間的モデリングにより,空間的特徴と時間的特徴の両方を効率的に抽出する新しいモデルを提案する。
提案モデルは3つの主要ネットワークから成り,造語生成器,判別器,コンビネータを用いて,適応型アテンションモジュールを実現するために,敵対的な学習環境において訓練を行う。
論文 参考訳（メタデータ） (2021-02-18T04:10:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。