論文の概要: Is It Worth the (Environmental) Cost? Limited Evidence for Temporal Adaptation via Continuous Training

• arxiv url: http://arxiv.org/abs/2210.07365v2
• Date: Thu, 4 May 2023 13:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 19:28:22.945680
• Title: Is It Worth the (Environmental) Cost? Limited Evidence for Temporal Adaptation via Continuous Training
• Title（参考訳）: 環境的な)コストに見合う価値はあるか? 連続学習による時間適応の限定的証拠
• Authors: Giuseppe Attanasio, Debora Nozza, Federico Bianchi, Dirk Hovy
• Abstract要約: 本稿では,継続的トレーニングを支援するための実証的証拠を求める。 既存のベンチマークを再現し、追加の時間、モデル、タスクを含むように拡張します。 その結果,ソーシャルメディアデータに対する時間適応型英語モデルのダウンストリームタスク性能は,時間とともに改善しないことがわかった。
• 参考スコア（独自算出の注目度）: 36.705592452909485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language is constantly changing and evolving, leaving language models to become quickly outdated. Consequently, we should continuously update our models with new data to expose them to new events and facts. However, that requires additional computing, which means new carbon emissions. Do any measurable benefits justify this cost? This paper looks for empirical evidence to support continuous training. We reproduce existing benchmarks and extend them to include additional time periods, models, and tasks. Our results show that the downstream task performance of temporally adapted English models for social media data do not improve over time. Pretrained models without temporal adaptation are actually significantly more effective and efficient. However, we also note a lack of suitable temporal benchmarks. Our findings invite a critical reflection on when and how to temporally adapt language models, accounting for sustainability.
• Abstract（参考訳）: 言語は絶えず変化し、進化しており、言語モデルは急速に時代遅れになっている。 そのため、新しいイベントや事実に公開するために、新しいデータでモデルを継続的に更新する必要があります。 しかし、これは新しい二酸化炭素排出量を意味する追加のコンピューティングを必要とする。 測定可能なメリットはこのコストを正当化するのでしょうか? 本稿では,継続的トレーニングを支援するための実証的証拠を求める。 既存のベンチマークを再現し、追加の時間、モデル、タスクを含むように拡張します。 その結果,ソーシャルメディアデータに対する時間適応型英語モデルのダウンストリームタスク性能は時間とともに改善しないことがわかった。 時間適応のない事前学習モデルは実際、より効果的で効率的である。 しかし、適切な時間ベンチマークの欠如にも留意する。 本研究は,持続可能性を考慮した言語モデルの時間的適応に関する批判的考察である。

関連論文リスト

• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Carpe Diem: On the Evaluation of World Knowledge in Lifelong Language Models [74.81091933317882]
  進化するウィキペディアデータベース上でのLMのトレーニングと評価を目的とした,時間的に進化する質問応答ベンチマークであるEvolvingQAを紹介する。 既存の継続的な学習ベースラインが、時代遅れの知識の更新と削除に悩まされていることを明らかにする。 本研究の目的は,実世界の情報の動的性質をモデル化することであり,言語モデルの進化適応性を忠実に評価することである。
  論文  参考訳（メタデータ） (2023-11-14T12:12:02Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)
• Test of Time: Instilling Video-Language Models with a Sense of Time [42.290970800790184]
  既存の7つのビデオ言語モデルは、単純な時間的関係を理解するのに苦労している。 そこで本稿では,少量のビデオテキストデータに基づく事前学習に基づく時間適応手法であるVideoCLIPを提案する。 タスクにより高い時間意識を必要とする場合,特にパフォーマンス向上の促進を観察する。
  論文  参考訳（メタデータ） (2023-01-05T14:14:36Z)
• Localized Latent Updates for Fine-Tuning Vision-Language Models [15.285292154680246]
  この作業では,データポイントに近いモデル予測のみを更新する,軽量なアダプタを提案する。 我々は、この比較的単純なアプローチの有効性とスピードを、数ショットの学習の文脈で示し、トレーニング中に見られるクラスと見えないクラスの両方の結果が、芸術の状況に匹敵するか、改善されるかのどちらかであることを示した。
  論文  参考訳（メタデータ） (2022-12-13T13:15:20Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Temporal Effects on Pre-trained Models for Language Processing Tasks [9.819970078135343]
  本稿では, 時間的モデル劣化がそれほど大きな問題ではないことを示すために, 大規模なニューラルプレトレーニング表現を用いた実験を行った。 しかし、時間的領域適応が有益であり、より最近の時間的データに基づいてシステムが訓練された場合、所定の時間に対してより優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-11-24T20:44:12Z)
• Opinions are Made to be Changed: Temporally Adaptive Stance Classification [9.061088449712859]
  大規模で縦長なスタンスデータセットを2つ導入する。 スタンス分類器の性能持続性を時間とともに評価し、トレーニングデータとテストデータの間の時間的ギャップが増大するにつれて、どのように崩壊するかを示す。 組込み適応に対するいくつかのアプローチを提案し比較し、インクリメンタル・テンポラル・アライメント(ITA)モデルが時間の経過とともに性能低下を減少させる最良の結果をもたらすことを見出した。
  論文  参考訳（メタデータ） (2021-08-27T19:47:31Z)
• Pitfalls of Static Language Modelling [41.76918612574081]
  現状のトランスフォーマーモデルは、訓練期間を超えて、将来の発話を予測する現実的なセットアップにおいて、さらに悪化することを示す。 私たちは、静的言語モデリング評価プロトコルを再考するのは、今が正しい時だと論じています。
  論文  参考訳（メタデータ） (2021-02-03T09:01:49Z)
• Selecting Informative Contexts Improves Language Model Finetuning [66.26521454263343]
  本稿では,情報ゲインフィルタと呼ぶ汎用的な微調整手法を提案する。 微調整中、二次学習者は情報的例を選択し、非情報的例をスキップする。 提案手法は,データセット,微調整タスク,言語モデルアーキテクチャ間で一貫した改善がなされていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T02:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。