論文の概要: Early Stopping Tabular In-Context Learning

• arxiv url: http://arxiv.org/abs/2506.21387v1
• Date: Thu, 26 Jun 2025 15:36:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.167033
• Title: Early Stopping Tabular In-Context Learning
• Title（参考訳）: 単語のインテクスト学習の早期停止
• Authors: Jaris Küken, Lennart Purucker, Frank Hutter,
• Abstract要約: テキスト内学習を早期に行うことを提案する。 トランスフォーマーエンコーダの各レイヤの後にコンテキスト内学習を停止させるかどうかを動的に評価することでこれを実現する。 一旦停止すると、プレトレーニングされたレイヤワイズデコーダを使って埋め込みをデコードします。
• 参考スコア（独自算出の注目度）: 40.5799600333219
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models have shown strong performance across various tabular learning tasks via in-context learning, offering robust generalization without any downstream finetuning. However, their inference-time costs remain high, particularly for larger datasets. To address this, we propose early-stopping the in-context learning process. We achieve this by dynamically evaluating whether to stop in-context learning after each Transformer encoder layer. Once stopped, we decode the embedding using a pre-trained layer-wise decoder. Experiments across 34 small classification tasks size show that early stopping in-context learning accelerates inference by up to x1.3 with negligible degradation in predictive performance. To assess scalability, we further evaluate our method on five larger classification tasks, achieving speedups of up to x2.2. Our results demonstrate the potential of early exiting as an effective and practical strategy for improving the efficiency of tabular in-context learning.
• Abstract（参考訳）: タブラル基礎モデルは、テキスト内学習を通じて様々な表型学習タスクに対して強い性能を示し、下流の微調整なしに堅牢な一般化を提供する。 しかし、特に大きなデータセットの場合、推論時間コストは高いままである。 そこで本研究では,テキスト内学習プロセスの早期学習を提案する。 トランスフォーマーエンコーダの各レイヤの後にコンテキスト内学習を停止させるかどうかを動的に評価することでこれを実現する。 一旦停止すると、プレトレーニングされたレイヤワイズデコーダを使って埋め込みをデコードします。 34の小さな分類タスクサイズにわたる実験では、早期に文脈内学習を停止すると、予測性能の無視可能な劣化により、x1.3まで推論が加速することが示された。 スケーラビリティを評価するため,より大規模な5つの分類タスクにおいて,最大 x2.2 の高速化を実現する。 本研究は,文書内学習の効率を向上させるための効果的かつ実践的な戦略として,早期退学の可能性を示すものである。

関連論文リスト

• Sample Compression for Self Certified Continual Learning [4.354838732412981]
  連続学習アルゴリズムは、一連のタスクから学習することを目的としており、トレーニング分布を静止しないものにしている。 提案手法はCoP2L(Continual Pick-to-Learn)と呼ばれ,各タスクの最も代表的なサンプルを効率的に保持することができる。
  論文  参考訳（メタデータ） (2025-03-13T16:05:56Z)
• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。