論文の概要: Bounded Context Management for Tabular Foundation Models on Stream Learning

• arxiv url: http://arxiv.org/abs/2606.18677v1
• Date: Wed, 17 Jun 2026 04:24:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.003232
• Title: Bounded Context Management for Tabular Foundation Models on Stream Learning
• Title（参考訳）: ストリーム学習における語彙基礎モデルのコンテキスト境界管理
• Authors: Jinmo Lee, Doyun Choi, Moongi Choi, Jaemin Yoo,
• Abstract要約: 本稿では,コンテキスト管理の実践的要件を3つ提示する将来の情報ビューを提案する。 我々は,これらの要件を,エントロピー付き入場と冗長性認識の排除を備えたコンテキスト管理ポリシーであるCUREとしてインスタンス化する。 CUREは古典的なストリーム学習者に対して27.0%の相対的な改善を示し、複数のFMバックボーンで頑健であり、他のポリシーの亜種の中でも第1位である。
• 参考スコア（独自算出の注目度）: 8.331524801839162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular stream learning requires predictions on sequentially arriving examples under distribution shift. While standard methods adapt by updating model states, tabular foundation models (TFMs) make predictions conditioned on a labeled context in an in-context manner, making them a natural alternative for stream learning. This shifts the challenge from how to update the model to how to manage the context. We propose a future information view that yields three practical requirements for context management: preserve recent examples, retain uncertain examples, and remove redundant examples. We instantiate these requirements as CURE (Context management via Uncertainty-aware admission and Redundancy aware Eviction), a context-managing policy with entropy-gated admission and redundancy-aware eviction. Across seven streams, CURE shows up to 27.0% relative improvement over classical stream learners, remains robust across multiple TFM backbones, and ranks first among other policy variants. Code and datasets are available at https://github.com/morcellinus/CURE-ICML-FMSD.
• Abstract（参考訳）: タブラルストリーム学習は、分布シフトの下で順次到着するサンプルの予測を必要とする。 標準手法はモデル状態の更新によって適応するが、表層基礎モデル(TFM)はラベル付きコンテキストをコンテキスト内で条件付けし、ストリーム学習の自然な代替手段となる。 これにより、モデルの更新方法からコンテキスト管理の方法へと、課題がシフトする。 本稿では,最近の事例の保存,不確実な事例の保存,冗長な事例の除去という,コンテキスト管理の実践的な3つの要件を提示する将来の情報ビューを提案する。 我々は,これらの要件を,エントロピー付き入場と冗長性を考慮したコンテキスト管理政策であるCURE(Uncertainty-aware admission and Redundancy aware Eviction)としてインスタンス化する。 7つのストリームにまたがって、CUREは古典的なストリーム学習者に対して27.0%の相対的な改善を示し、複数のFMバックボーンで堅牢であり、他のポリシーの亜種の中で第1位である。 コードとデータセットはhttps://github.com/morcellinus/CURE-ICML-FMSDで入手できる。

関連論文リスト

• Self-Consolidating Language Models: Continual Knowledge Incorporation from Context [5.0834716824529105]
  大規模言語モデル(LLM)は、パス、会話、長いコンテキストのストリームとして情報を受け取るようになっている。 本研究では,従来の統合情報との干渉を抑えつつ,現在のコンテキストをモデル重みに書き込む連続的コンテキスト統合について検討する。 textbfSelf-textbf Consolidating textbfLanguage Models (SCoL) は、LLMがテキスト更新命令を生成することを学習する後トレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T00:50:09Z)
• Learning from Many and Adapting to the Unknown in Open-set Test Streams [24.690368986775848]
  大規模言語モデル(LLM)は、再利用可能な表現と柔軟な推論を通じてタスクを一般化する。 SyCoはRac1およびMAPK経路を介して低ランクアダプタを更新するパラメータ効率適応法である。
  論文  参考訳（メタデータ） (2026-04-01T06:23:24Z)
• Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning [19.677969862434708]
  本稿では,データ選択と再重み付けのための理論的に基礎的,資源効率のよいフレームワークを提案する。 In-Context Approximation (ICA) は、モデルが候補の例でトレーニングした後のホールドアウト損失を推定する。 モデルパラメータの進化に伴い, ICAスコアから指数重みを導出し, 勾配更新を動的に再加重する。
  論文  参考訳（メタデータ） (2025-10-16T09:00:39Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。