論文の概要: In-context learning of evolving data streams with tabular foundational models

• arxiv url: http://arxiv.org/abs/2502.16840v1
• Date: Mon, 24 Feb 2025 04:52:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:57:06.020946
• Title: In-context learning of evolving data streams with tabular foundational models
• Title（参考訳）: 表層基礎モデルを用いた進化的データストリームの文脈内学習
• Authors: Afonso Lourenço, João Gama, Eric P. Xing, Goreti Marreiros,
• Abstract要約: この研究は両領域の進歩を橋渡しし、トランスフォーマーの暗黙のメタ学習能力、ドリフトする自然データへの事前トレーニング、動的環境における適応学習のコア課題へのコンテキスト最適化への依存などを強調した。 本研究は,TabPFNが単純なスライディングメモリ戦略と組み合わさって,非定常ベンチマークにおけるHoeffdingツリーのアンサンブルを一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 42.13420474990124
• License:
• Abstract: State-of-the-art data stream mining in supervised classification has traditionally relied on ensembles of incremental decision trees. However, the emergence of large tabular models, i.e., transformers designed for structured numerical data, marks a significant paradigm shift. These models move beyond traditional weight updates, instead employing in-context learning through prompt tuning. By using on-the-fly sketches to summarize unbounded streaming data, one can feed this information into a pre-trained model for efficient processing. This work bridges advancements from both areas, highlighting how transformers' implicit meta-learning abilities, pre-training on drifting natural data, and reliance on context optimization directly address the core challenges of adaptive learning in dynamic environments. Exploring real-time model adaptation, this research demonstrates that TabPFN, coupled with a simple sliding memory strategy, consistently outperforms ensembles of Hoeffding trees across all non-stationary benchmarks. Several promising research directions are outlined in the paper. The authors urge the community to explore these ideas, offering valuable opportunities to advance in-context stream learning.
• Abstract（参考訳）: 教師付き分類における最先端のデータストリームマイニングは、伝統的にインクリメンタルな決定ツリーのアンサンブルに依存してきた。 しかし、構造化された数値データ用に設計された変圧器のような大きな表形式モデルの出現は、重要なパラダイムシフトを示す。 これらのモデルは従来の重み付け更新を超えて、プロンプトチューニングを通じてコンテキスト内学習を採用する。 オンザフライのスケッチを使って、無制限のストリーミングデータを要約することで、この情報をトレーニング済みのモデルに入力して効率的な処理を行うことができる。 この研究は両領域の進歩を橋渡しし、トランスフォーマーの暗黙のメタ学習能力、ドリフトする自然データへの事前トレーニング、動的環境における適応学習のコア課題へのコンテキスト最適化への依存などを強調した。 本研究は,TabPFNが単純なスライディングメモリ戦略と組み合わさって,非定常ベンチマークにおけるHoeffdingツリーのアンサンブルを一貫して上回っていることを示す。 論文にはいくつかの有望な研究方針が概説されている。 著者らはこれらのアイデアを探求するようコミュニティに促し、文脈内ストリーム学習を前進させる貴重な機会を提供する。

関連論文リスト

• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)
• Transformers with Stochastic Competition for Tabular Data Modelling [6.285325771390289]
  本稿では,表型データに特化して設計された新しいディープラーニングモデルを提案する。 このモデルは、広く使用されており、公開されているさまざまなデータセットで検証されている。 これらの要素を組み込むことで、我々のモデルは高い性能が得られることを実証する。
  論文  参考訳（メタデータ） (2024-07-18T07:48:48Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Hub-Pathway: Transfer Learning from A Hub of Pre-trained Models [89.44031286278347]
  本稿では,モデルハブからの知識伝達を可能にするハブパスウェイフレームワークを提案する。 提案するフレームワークは、目的のタスク固有の損失でエンドツーエンドにトレーニングすることができる。 コンピュータビジョンおよび強化学習タスクの実験結果は、このフレームワークが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-06-08T08:00:12Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Adaptive Deep Forest for Online Learning from Drifting Data Streams [15.49323098362628]
  データストリームから学ぶことは、現代のデータマイニングにおいて最も重要な分野である。 本稿では,樹木をベースとしたストリーミング分類器と深い森林を自然に組み合わせたアダプティブ・ディープフォレスト(ADF)を提案する。 実験により,深い森林のアプローチを効果的にオンラインアルゴリズムに変換できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-14T18:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。