論文の概要: Bridging Streaming Continual Learning via In-Context Large Tabular Models

• arxiv url: http://arxiv.org/abs/2512.11668v1
• Date: Fri, 12 Dec 2025 15:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.826645
• Title: Bridging Streaming Continual Learning via In-Context Large Tabular Models
• Title（参考訳）: In-Context Large Tabular Modelによるブリッジストリーミング連続学習
• Authors: Afonso Lourenço, João Gama, Eric P. Xing, Goreti Marreiros,
• Abstract要約: 大規模インコンテキストモデル(LTM)がストリーミング連続学習(SCL)に自然な橋渡しを提供すると主張する。 私たちの見解では、ストリームをオンザフライで要約して、LTMで消費できるコンパクトなスケッチにする必要があります。 SLとCLのコミュニティは,可塑性と安定性の緊張を管理するための分断型戦略を暗黙的に採用している。
• 参考スコア（独自算出の注目度）: 37.26465083968656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In streaming scenarios, models must learn continuously, adapting to concept drifts without erasing previously acquired knowledge. However, existing research communities address these challenges in isolation. Continual Learning (CL) focuses on long-term retention and mitigating catastrophic forgetting, often without strict real-time constraints. Stream Learning (SL) emphasizes rapid, efficient adaptation to high-frequency data streams, but typically neglects forgetting. Recent efforts have tried to combine these paradigms, yet no clear algorithmic overlap exists. We argue that large in-context tabular models (LTMs) provide a natural bridge for Streaming Continual Learning (SCL). In our view, unbounded streams should be summarized on-the-fly into compact sketches that can be consumed by LTMs. This recovers the classical SL motivation of compressing massive streams with fixed-size guarantees, while simultaneously aligning with the experience-replay desiderata of CL. To clarify this bridge, we show how the SL and CL communities implicitly adopt a divide-to-conquer strategy to manage the tension between plasticity (performing well on the current distribution) and stability (retaining past knowledge), while also imposing a minimal complexity constraint that motivates diversification (avoiding redundancy in what is stored) and retrieval (re-prioritizing past information when needed). Within this perspective, we propose structuring SCL with LTMs around two core principles of data selection for in-context learning: (1) distribution matching, which balances plasticity and stability, and (2) distribution compression, which controls memory size through diversification and retrieval mechanisms.
• Abstract（参考訳）: ストリーミングのシナリオでは、モデルは継続的に学習し、以前に取得した知識を消去することなくコンセプトドリフトに適応する必要があります。 しかし、既存の研究コミュニティはこれらの課題を単独で解決している。 継続的な学習(CL)は、しばしば厳格なリアルタイム制約なしに、長期的な保持と破滅的な忘れの軽減に焦点を当てている。 ストリーム学習(SL)は、高周波データストリームへの高速で効率的な適応を強調するが、通常は忘れることを無視している。 最近の試みはこれらのパラダイムを組み合わせることを試みたが、明確なアルゴリズム上の重複は存在しない。 我々は,LTM(Large in-context tabular model)が連続学習(Streaming Continual Learning, SCL)の自然なブリッジを提供すると主張している。 我々の見解では、無制限のストリームは、LTMによって消費されるコンパクトなスケッチに、オンザフライで要約されるべきである。 これにより、CLの体験再生デシダタと協調しながら、固定サイズの保証で巨大なストリームを圧縮する古典的なSLモチベーションが回復する。 このブリッジを明確にするために,SLとCLのコミュニティは,可塑性(現在の分布において良好に機能する)と安定性(過去の知識を保持する)の緊張を管理するために,暗黙的にコンカレント・ツー・コンカレント戦略を実践し,また,多様性(記憶に冗長さを伴わない)と検索(必要に応じて過去の情報を優先順位付けする)を動機付ける,最小限の複雑さの制約を課している。 そこで本研究では,1) 可塑性と安定性のバランスをとる分布マッチングと,2) 多様化と検索機構を通じてメモリサイズを制御する分布圧縮の2つの基本原理について,LTMによるSCLの構成を提案する。

関連論文リスト

• In-Context Learning can Perform Continual Learning Like Humans [12.499724976235534]
  大規模言語モデル(LLM)は、パラメータを更新することなく、ICL(In-context Learning)を介して新しいタスクに適応することができる。 マルチタスク環境におけるICLの保持特性について検討し,それを文脈内連続学習(ICCL)に拡張する。 ICCLは、人間に類似した方法で分散プラクティスの恩恵を受けており、維持のための「スイートスポット」の間隔を一貫して明らかにしている。
  論文  参考訳（メタデータ） (2025-09-26T15:08:06Z)
• Adapt before Continual Learning [9.477667054965782]
  コアCLプロセス(ACL)の前にPTMを適応させることは、新しいタスクを学習する前にプラグアンドプレイ適応フェーズを導入する新しいフレームワークである。 ACLはベンチマークと統合メソッド間でCL性能を大幅に改善する。
  論文  参考訳（メタデータ） (2025-06-04T13:46:33Z)
• StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning [79.44594332189018]
  CIL(Class-Incremental Learning)は、以前取得した知識を使わずに、時間とともに新しいアクションカテゴリを継続的に学習するモデルの開発を目指している。 既存のアプローチでは、メモリとプライバシに関する懸念を忘れたり、あるいは時間的モデリングを無視する静的なイメージベースのメソッドを適用したりする。 本稿では,情報を明示的に切り離して保存する,統一的で非定型なVCILフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T06:46:51Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Prior-free Balanced Replay: Uncertainty-guided Reservoir Sampling for Long-Tailed Continual Learning [8.191971407001034]
  長い尾を持つデータストリームから、忘れることなく学習するための、新しいPBRフレームワークを提案する。 我々は、忘れる問題をさらに軽減するために、2つの事前自由なコンポーネントを組み込んだ。 提案手法は3つの標準長尾ベンチマークで評価される。
  論文  参考訳（メタデータ） (2024-08-27T11:38:01Z)
• Learning an evolved mixture model for task-free continual learning [11.540150938141034]
  タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。 メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
  論文  参考訳（メタデータ） (2022-07-11T16:01:27Z)
• Generalized Variational Continual Learning [33.194866396158005]
  継続的学習の主なアプローチは、オンラインのElastic Weight Consolidationと変分連続学習である。 この修正により、オンラインEWCを制限ケースとして緩和し、2つのアプローチ間のベースラインを確保できることを示す。 VIのオーバープルーニング効果を観測するために、共通マルチタスクアーキテクチャからインスピレーションを得て、タスク固有のFiLM層によるニューラルネットワークを緩和する。
  論文  参考訳（メタデータ） (2020-11-24T19:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。