論文の概要: Tri-Level Navigator: LLM-Empowered Tri-Level Learning for Time Series OOD Generalization
- arxiv url: http://arxiv.org/abs/2410.07018v2
- Date: Sat, 2 Nov 2024 00:58:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 14:50:13.448799
- Title: Tri-Level Navigator: LLM-Empowered Tri-Level Learning for Time Series OOD Generalization
- Title（参考訳）: 3レベルナビゲータ:時系列OOD一般化のためのLLMを利用した3レベル学習
- Authors: Chengtao Jian, Kai Yang, Yang Jiao,
- Abstract要約: 事前学習された大言語モデルを用いた時系列OOD一般化について検討する。
まず,textbfSeries textbfOOD 一般化のための新しい textbfTri レベルの学習フレームワーク TTSO を提案する。
本稿では,この三段階最適化問題に適した階層化ローカライゼーションアルゴリズムを開発し,提案アルゴリズムの保証収束を理論的に実証する。
- 参考スコア（独自算出の注目度）: 9.95894026392039
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-Distribution (OOD) generalization in machine learning is a burgeoning area of study. Its primary goal is to enhance the adaptability and resilience of machine learning models when faced with new, unseen, and potentially adversarial data that significantly diverges from their original training datasets. In this paper, we investigate time series OOD generalization via pre-trained Large Language Models (LLMs). We first propose a novel \textbf{T}ri-level learning framework for \textbf{T}ime \textbf{S}eries \textbf{O}OD generalization, termed TTSO, which considers both sample-level and group-level uncertainties. This formula offers a fresh theoretic perspective for formulating and analyzing OOD generalization problem. In addition, we provide a theoretical analysis to justify this method is well motivated. We then develop a stratified localization algorithm tailored for this tri-level optimization problem, theoretically demonstrating the guaranteed convergence of the proposed algorithm. Our analysis also reveals that the iteration complexity to obtain an $\epsilon$-stationary point is bounded by O($\frac{1}{\epsilon^{2}}$). Extensive experiments on real-world datasets have been conducted to elucidate the effectiveness of the proposed method.
- Abstract（参考訳）: 機械学習におけるアウト・オブ・ディストリビューション(OOD)の一般化は、驚くべき研究分野である。
その第一の目的は、新しい、見えない、潜在的に敵対的なデータに直面した時に、機械学習モデルの適応性とレジリエンスを高めることである。
本稿では,事前学習されたLarge Language Models (LLMs) を用いた時系列OOD一般化について検討する。
まず, サンプルレベルとグループレベルの不確実性を両立する, TTSO と呼ばれる新規な \textbf{T}ime \textbf{S}eries \textbf{O}OD 一般化フレームワークを提案する。
この公式は、OOD一般化問題を定式化し解析するための新鮮な理論的な視点を提供する。
さらに,本手法のモチベーションが良好であることを示す理論的解析を行った。
次に、この三段階最適化問題に適した階層化ローカライゼーションアルゴリズムを開発し、提案アルゴリズムの保証収束を理論的に実証する。
我々はまた、$\epsilon$-定常点を得るのに要する反復の複雑さが O($\frac{1}{\epsilon^{2}}$) で有界であることを明らかにする。
提案手法の有効性を明らかにするために,実世界のデータセットに関する大規模な実験を行った。
関連論文リスト
- Learning via Surrogate PAC-Bayes [13.412960492870996]
PAC-Bayes学習は、学習アルゴリズムの一般化能力を研究するための包括的な設定である。
本稿では,一連の代理学習目標を最適化することで,反復学習アルゴリズムを構築するための新しい原則的戦略を提案する。
PAC-Bayes境界による学習の一般的なレシピを提供するのに加えて、(i)サロゲートの反復最適化が元の一般化境界の最適化を意味することを示す理論的結果を提供する。
論文 参考訳（メタデータ） (2024-10-14T07:45:50Z) - On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。
我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
論文 参考訳（メタデータ） (2024-10-11T18:02:46Z) - Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
低データ体制における教師なし事前学習のための新しい手法を提案する。
最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。
提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
論文 参考訳（メタデータ） (2024-05-22T06:48:43Z) - Understanding Generalization of Federated Learning via Stability:
Heterogeneity Matters [1.4502611532302039]
一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
論文 参考訳（メタデータ） (2023-06-06T16:12:35Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - On the Stability and Generalization of Triplet Learning [55.75784102837832]
トリプルトラーニング(トリプルトラーニング)、すなわちトリプルトデータから学ぶことは、コンピュータビジョンタスクに大きな注目を集めている。
本稿では,安定解析を利用した三重項学習の一般化保証について検討する。
論文 参考訳（メタデータ） (2023-02-20T07:32:50Z) - Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。
提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。
本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。
本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
論文 参考訳（メタデータ） (2022-10-11T20:20:20Z) - An Information-Theoretic Framework for Unifying Active Learning Problems [44.758281991246825]
本稿では,アクティブラーニング問題を統合するための情報理論的枠組みを提案する。
まず、既存のLSEアルゴリズムを推定する新しいアクティブ学習基準を紹介します。
LSEとBOの関係を利用して、BOのための競合情報理論獲得関数を設計する。
論文 参考訳（メタデータ） (2020-12-19T14:22:48Z) - A Generic First-Order Algorithmic Framework for Bi-Level Programming
Beyond Lower-Level Singleton [49.23948907229656]
Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。
LLS条件なしでBDAの収束を証明する新しい手法を導出する。
我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
論文 参考訳（メタデータ） (2020-06-07T05:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。