論文の概要: Seq-to-Final: A Benchmark for Tuning from Sequential Distributions to a Final Time Point
- arxiv url: http://arxiv.org/abs/2407.09642v1
- Date: Fri, 12 Jul 2024 19:03:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 21:28:05.285604
- Title: Seq-to-Final: A Benchmark for Tuning from Sequential Distributions to a Final Time Point
- Title（参考訳）: Seq-to-Final: シーケンス分布から最終時点へのチューニングベンチマーク
- Authors: Christina X Ji, Ahmed M Alaa, David Sontag,
- Abstract要約: 履歴データの活用は、最終期間中に限られたデータが利用できる最後の時点のモデルを学ぶために必要である。
本研究では,3種類の手法の有効性を評価するために,異なる順序の合成シフトを用いたベンチマークを構築した。
この結果から, ベンチマークのシーケンスに対して, 逐次構造を無視し, 最終時点に適応する手法は良好に動作することが示唆された。
- 参考スコア（独自算出の注目度）: 18.843395348612553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distribution shift over time occurs in many settings. Leveraging historical data is necessary to learn a model for the last time point when limited data is available in the final period, yet few methods have been developed specifically for this purpose. In this work, we construct a benchmark with different sequences of synthetic shifts to evaluate the effectiveness of 3 classes of methods that 1) learn from all data without adapting to the final period, 2) learn from historical data with no regard to the sequential nature and then adapt to the final period, and 3) leverage the sequential nature of historical data when tailoring a model to the final period. We call this benchmark Seq-to-Final to highlight the focus on using a sequence of time periods to learn a model for the final time point. Our synthetic benchmark allows users to construct sequences with different types of shift and compare different methods. We focus on image classification tasks using CIFAR-10 and CIFAR-100 as the base images for the synthetic sequences. We also evaluate the same methods on the Portraits dataset to explore the relevance to real-world shifts over time. Finally, we create a visualization to contrast the initializations and updates from different methods at the final time step. Our results suggest that, for the sequences in our benchmark, methods that disregard the sequential structure and adapt to the final time point tend to perform well. The approaches we evaluate that leverage the sequential nature do not offer any improvement. We hope that this benchmark will inspire the development of new algorithms that are better at leveraging sequential historical data or a deeper understanding of why methods that disregard the sequential nature are able to perform well.
- Abstract（参考訳）: 時間とともに分布の変化は、多くの設定で起こる。
歴史データの活用は、最終期間中に限られたデータが利用できる最後の時点のモデルを学ぶために必要だが、この目的のために特別に開発された手法はほとんどない。
本研究では,3種類の方法の有効性を評価するために,異なる順序の合成シフトを用いたベンチマークを構築した。
1)最終期間に適応することなく、すべてのデータから学ぶこと。
2 シーケンシャルな性質によらず、歴史資料から学び、最終期間に順応し、
3)モデルを最終期間に調整する場合に、履歴データのシーケンシャルな性質を活用する。
我々はこのベンチマークをSeq-to-Finalと呼び、最終時点のモデルを学習するために一連の時間を用いて焦点を合わせる。
我々の総合ベンチマークにより、ユーザーは異なるタイプのシフトでシーケンスを構築でき、異なる方法を比較することができる。
CIFAR-10とCIFAR-100をベース画像として用いた画像分類タスクに着目する。
また、Portraitsデータセット上の同じ手法を評価し、時間とともに現実のシフトとの関連性を探る。
最後に、最終段階において異なるメソッドの初期化と更新を対比する視覚化を作成します。
この結果から, ベンチマークのシーケンスに対して, 逐次構造を無視し, 最終時点に適応する手法は良好に動作することが示唆された。
シーケンシャルな性質を活用するアプローチは、いかなる改善も提供しません。
このベンチマークは、シーケンシャルな履歴データを活用するのに優れた新しいアルゴリズムの開発や、シーケンシャルな性質を無視した方法の深い理解を促すことを願っている。
関連論文リスト
- Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Chronos: Learning the Language of Time Series [79.38691251254173]
Chronosは事前訓練された確率的時系列モデルのためのフレームワークである。
クロノスモデルでは,様々な領域の時系列データを利用して,未知の予測タスクにおけるゼロショット精度を向上させることができることを示す。
論文 参考訳（メタデータ） (2024-03-12T16:53:54Z) - CycleCL: Self-supervised Learning for Periodic Videos [5.9647924003148365]
本稿では,周期データを扱うための自己教師付き学習手法であるCycleCLを提案する。
ビデオの繰り返しを利用して,三重項損失に基づく新しいコントラスト学習手法を設計する。
提案手法では, ほぼ同じ位相のフレーム対と異なる位相の負のフレーム対をサンプリングするために, 事前学習した特徴を用いる。
論文 参考訳（メタデータ） (2023-11-05T17:40:10Z) - Contrastive Difference Predictive Coding [79.74052624853303]
本研究では、時系列データの断片を縫合して、将来の事象の予測を学習するために必要なデータの量を減少させるコントラッシブ予測符号化の時間差版を導入する。
目的条件付きRLの非政治アルゴリズムを導出するために,この表現学習手法を適用した。
論文 参考訳（メタデータ） (2023-10-31T03:16:32Z) - Fast Classification with Sequential Feature Selection in Test Phase [1.1470070927586016]
本稿では,分類のための能動的特徴獲得のための新しいアプローチを提案する。
最適な予測性能を達成するために、最も情報性の高い機能のサブセットを順次選択する作業である。
提案手法では,既存の手法に比べてはるかに高速で効率の良い新しい遅延モデルが提案されている。
論文 参考訳（メタデータ） (2023-06-25T21:31:46Z) - Sample and Predict Your Latent: Modality-free Sequential Disentanglement
via Contrastive Estimation [2.7759072740347017]
外部信号のないコントラスト推定に基づく自己教師付きシーケンシャル・アンタングルメント・フレームワークを提案する。
実際に,データのセマンティックに類似し,異種なビューに対して,統一的で効率的かつ容易にサンプリングできる手法を提案する。
提案手法は,既存の手法と比較して最先端の結果を示す。
論文 参考訳（メタデータ） (2023-05-25T10:50:30Z) - Uniform Sequence Better: Time Interval Aware Data Augmentation for
Sequential Recommendation [16.00020821220671]
シーケンシャルレコメンデーションは、アイテムのシーケンスに基づいてアクセスする次の項目を予測する重要なタスクである。
既存の作業の多くは、これらの2つの項目間の時間間隔を無視して、前の項目から次の項目への遷移パターンとして、ユーザの好みを学ぶ。
文献では研究されていない時間間隔の観点からシーケンスデータを拡張することを提案する。
論文 参考訳（メタデータ） (2022-12-16T03:13:43Z) - Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。
当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。
単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
論文 参考訳（メタデータ） (2021-10-26T20:41:19Z) - Interpretable Feature Construction for Time Series Extrinsic Regression [0.028675177318965035]
一部のアプリケーション領域では、対象変数が数値であり、その問題は時系列外部回帰(TSER)として知られている。
TSERの文脈における頑健で解釈可能な特徴構築と選択のためのベイズ法の拡張を提案する。
私たちのアプローチは、TSERに取り組むためのリレーショナルな方法を利用します:(i)、リレーショナルデータスキームに格納されている時系列の多様で単純な表現を構築し、(ii)二次テーブルからデータを「フラット化」するために解釈可能な機能を構築するためにプロポジション化技術を適用します。
論文 参考訳（メタデータ） (2021-03-15T08:12:19Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳（メタデータ） (2020-05-08T21:32:42Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。