論文の概要: ChronosLex: Time-aware Incremental Training for Temporal Generalization of Legal Classification Tasks

• arxiv url: http://arxiv.org/abs/2405.14211v1
• Date: Thu, 23 May 2024 06:09:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 18:45:29.213515
• Title: ChronosLex: Time-aware Incremental Training for Temporal Generalization of Legal Classification Tasks
• Title（参考訳）: ChronosLex:法定分類タスクの時間的一般化のためのインクリメンタルトレーニング
• Authors: T. Y. S. S Santosh, Tuan-Quang Vuong, Matthias Grabmair,
• Abstract要約: 本研究では,法的概念が時間とともに進化する,法的多ラベルテキスト分類タスクの動的性質がもたらす課題について検討する。 既存のモデルはしばしばトレーニングプロセスの時間的次元を見落とし、時間とともにそれらのモデルの最適以下のパフォーマンスをもたらす。 我々はChronosLexを紹介した。ChronosLexは、時系列分割のモデルを訓練し、データの時間的順序を保存するインクリメンタルトレーニングパラダイムである。
• 参考スコア（独自算出の注目度）: 1.3723120574076126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study investigates the challenges posed by the dynamic nature of legal multi-label text classification tasks, where legal concepts evolve over time. Existing models often overlook the temporal dimension in their training process, leading to suboptimal performance of those models over time, as they treat training data as a single homogeneous block. To address this, we introduce ChronosLex, an incremental training paradigm that trains models on chronological splits, preserving the temporal order of the data. However, this incremental approach raises concerns about overfitting to recent data, prompting an assessment of mitigation strategies using continual learning and temporal invariant methods. Our experimental results over six legal multi-label text classification datasets reveal that continual learning methods prove effective in preventing overfitting thereby enhancing temporal generalizability, while temporal invariant methods struggle to capture these dynamics of temporal shifts.
• Abstract（参考訳）: 本研究では,法的概念が時間とともに進化する,法的多ラベルテキスト分類タスクの動的性質がもたらす課題について検討する。 既存のモデルはしばしばトレーニングプロセスの時間次元を見落とし、トレーニングデータを1つの均質なブロックとして扱うため、これらのモデルの最適以下の性能を経時的に向上させる。 これを解決するためにChronosLexを導入する。ChronosLexは、時系列分割のモデルをトレーニングし、データの時間的順序を保存するためのインクリメンタルトレーニングパラダイムである。 しかし、この漸進的なアプローチは、最近のデータに過度に適合するという懸念を提起し、継続学習と時間不変法を用いた緩和戦略の評価を促す。 6つの法的多ラベルテキスト分類データセットに対する実験結果から,連続的な学習手法は過適合を防止し,時間的一般化性を高めるのに有効であり,時間的不変法は時間的シフトのこれらのダイナミクスを捉えるのに苦慮していることがわかった。

関連論文リスト

• Self-Supervised Learning of Disentangled Representations for Multivariate Time-Series [10.99576829280084]
  TimeDRLは多変量時系列表現学習のためのフレームワークである。 TimeDRLの特徴は, []トークン戦略を用いたタイムスタンプレベルおよびインスタンスレベルの埋め込み, (ii)表現学習のためのタイムスタンプ予測およびインスタンスコントラストタスク, (iii)帰納的バイアスを取り除くための拡張手法の回避である。 予測と分類データセットの実験では、TimeDRLは既存の手法よりも優れており、ラベル付きデータに制限のある半教師付き設定でさらなる検証が行われている。
  論文  参考訳（メタデータ） (2024-10-16T14:24:44Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Contrastive Learning Is Not Optimal for Quasiperiodic Time Series [4.2807943283312095]
  本稿では,ほぼ周期時間系列(DEAPS)の蒸留埋め込みについて紹介する。 DEAPSは、心電図(ECG)データなどの準周期時系列に適した非コントラスト法である。 機械学習(ML)モデルに適合するアノテートレコードがわずかに提示された場合,既存のSOTAメソッドよりも10%向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-24T08:02:41Z)
• Learning Discriminative Spatio-temporal Representations for Semi-supervised Action Recognition [23.44320273156057]
  本稿では,適応コントラスト学習(ACL)戦略とマルチスケールテンポラル学習(MTL)戦略を提案する。 ACL戦略は、ラベル付きデータのクラスプロトタイプにより、全ての未ラベルサンプルの信頼性を評価し、擬ラベル付きサンプルバンクから正負のサンプルを適応的に選択し、コントラスト学習を構築する。 MTL戦略は、長期クリップからの情報的意味を強調し、ノイズ情報を抑制しながら、それらを短期クリップに統合する。
  論文  参考訳（メタデータ） (2024-04-25T08:49:08Z)
• TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
  時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。 本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
  論文  参考訳（メタデータ） (2024-02-04T13:10:51Z)
• Unsupervised Temporal Action Localization via Self-paced Incremental Learning [57.55765505856969]
  本稿では,クラスタリングとローカライズトレーニングを同時に行うための,自己ペースの漸進学習モデルを提案する。 我々は,2つの段階的なインスタンス学習戦略を設計し,ビデオ擬似ラベルの信頼性を確保する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Revisiting the Temporal Modeling in Spatio-Temporal Predictive Learning under A Unified View [73.73667848619343]
  UTEP(Unified S-Temporal Predictive Learning)は,マイクロテンポラリスケールとマクロテンポラリスケールを統合した再帰的および再帰的フリーな手法を再構築する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2023-10-09T16:17:42Z)
• Prompting-based Temporal Domain Generalization [10.377683220196873]
  本稿では,時間領域の一般化に対する新しいプロンプトベースアプローチを提案する。 本手法は,グローバルなプロンプト,ドメイン固有のプロンプト,ドリフト認識プロンプトを学習することで,時間的ドリフトに訓練されたモデルを適用する。 分類,回帰,時系列予測タスクの実験は,提案手法の汎用性を実証している。
  論文  参考訳（メタデータ） (2023-10-03T22:40:56Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Training for the Future: A Simple Gradient Interpolation Loss to Generalize Along Time [26.261277497201565]
  いくつかの実世界のアプリケーションでは、機械学習モデルがデプロイされ、時間とともに分布が徐々に変化するデータの予測を行う。 本稿では,時間に敏感なパラメータを持つモデルから始める単純な手法を提案する。
  論文  参考訳（メタデータ） (2021-08-15T11:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。