論文の概要: VIP-COP: Context Optimization for Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2605.12904v1
• Date: Wed, 13 May 2026 02:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.762631
• Title: VIP-COP: Context Optimization for Tabular Foundation Models
• Title（参考訳）: VIP-COP: 語彙基礎モデルの文脈最適化
• Authors: Yilong Chen, Xueying Ding, Leman Akoglu,
• Abstract要約: VIP-COPは、トレーニング例の予測における重要度の価値と、TFMのハードコンテキスト最適化の特徴を推定する。 その明示的な選択メカニズムはノイズを抑制し、影響力のあるデータを分離する。 VIP-COP は (i) 高速で、最適化の数分以内に性能を向上する; (ii) 予算に気付き、いつでも、追加のテスト時間計算で改善する; (iii) モデルに気付き、完全にブラックボックスで、モデル内部へのアクセスを必要としない; (iv) 解釈可能で、離散的な重要な予測者の(サンプル)を識別する。
• 参考スコア（独自算出の注目度）: 23.854424850102273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models (TFMs) have emerged as a powerful paradigm for in-context learning on structured data, enabling direct prediction on new tabular tasks without task-specific training. However, their effectiveness is constrained by context length limits, restricting application to medium-scale data and degrading performance when inference-time data exceed pretraining size distributions. Our work introduces VIP-COP, estimating the Value of Importance for Prediction of training examples and features for hard Context OPtimization for TFMs. Its explicit selection mechanism suppresses noise and isolates influential data, enabling the model to also benefit from data augmentation by prioritizing high-value augmented samples and features. VIP-COP is (i) fast, boosting performance often within minutes of optimization, based on an online KernelSHAP-based regression with iterative refinement, value-guided context sampling, and multi-fidelity pruning; (ii) budget-aware and any-time, improving with additional test-time compute unlike heuristics that produce fixed contexts; (iii) model-aware yet fully black-box, requiring no access to model internals, making it compatible with both proprietary and open-source TFMs; (iv) interpretable, identifying discrete ``Very Important Predictors'' (samples and features) that maximize signal-to-noise, which makes it (v) robust, isolating high-value data from noise. In contrast, soft-prompt optimization requires model gradients, produces abstract latent tokens, and lacks explicit signal discrimination. Extensive experiments show that VIP-COP consistently outperforms heuristic and optimized baselines across large-scale high-dimensional testbeds, including data augmentation and data-noise settings, establishing a new state of the art in test-time context refinement for TFMs.
• Abstract（参考訳）: タブラル基礎モデル(TFM)は、構造化されたデータに対する文脈内学習の強力なパラダイムとして登場し、タスク固有のトレーニングを使わずに、新しい表型タスクの直接予測を可能にしている。 しかし、それらの有効性は、文脈長制限、中規模データへの適用制限、推論時データが事前学習されたサイズ分布を超えた場合の性能低下によって制限される。 我々の研究は、トレーニング例の予測における重要度の価値を推定するVIP-COPを導入し、TFMのハードコンテクスト最適化のための特徴について紹介する。 その明示的な選択メカニズムはノイズを抑制し、影響力のあるデータを分離し、高価値な追加サンプルや特徴を優先順位付けすることで、データ拡張の恩恵を受けることができる。 VIP-COP i) 反復的洗練を伴うオンラインKernelSHAPベースの回帰、値誘導型コンテキストサンプリング、マルチファイダリティプルーニングに基づいて、最適化の数分以内に、高速で、しばしばパフォーマンスを向上する。 (二)予算に気付き、いつでも、固定コンテキストを生成するヒューリスティックと異なり、追加のテスト時間計算で改善する。 三 モデル対応で完全にブラックボックスで、モデル内部へのアクセスを必要とせず、プロプライエタリかつオープンソースのTFMと互換性がある。 (iv)解釈可能で、信号対雑音を最大化する「非常に重要な予測者」(サンプルと特徴)を識別する (v)頑健で、ノイズから高値データを分離する。 対照的に、ソフトプロンプト最適化はモデル勾配を必要とし、抽象的な潜在トークンを生成し、明確な信号識別を欠いている。 大規模な実験により、VIP-COPは、データ拡張やデータノイズ設定を含む大規模な高次元テストベッドにおいて、ヒューリスティックで最適化されたベースラインを一貫して上回り、TFMの試験時間における新しい最先端のコンテキスト改善を確立している。

関連論文リスト

• Perplexity-Aware Data Scaling Law: Perplexity Landscapes Predict Performance for Continual Pre-training [46.54209378000497]
  事前トレーニングのスケーリング法則は、データセットのサイズとLLMのテスト損失との間には、ゆるい関係がある。 本稿では,ドメイン固有データの難易度景観とテスト損失との予測的関係を確立するために,新しいパープレキシティ対応データスケーリング法を提案する。 本手法は, ほぼ最適トレーニングサブセットを一貫して同定し, 医用および一般のベンチマークにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2025-12-25T05:40:46Z)
• FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
  時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。 本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。 FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
  論文  参考訳（メタデータ） (2025-11-26T08:36:33Z)
• RAPO++: Cross-Stage Prompt Optimization for Text-to-Video Generation via Data Alignment and Test-Time Scaling [59.088798018184235]
  textbfRAPO++は、クロスプラットフォームのプロンプト最適化フレームワークである。 トレーニングデータの整合性向上、テスト時の反復スケーリング、大規模言語モデルの微調整を統一する。 RAPO++は意味的アライメント、構成的推論、時間的安定性、物理的妥当性において大きな進歩を遂げている。
  論文  参考訳（メタデータ） (2025-10-23T04:45:09Z)
• Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
  時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。 微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。 モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T07:07:13Z)
• Accelerate Scaling of LLM Finetuning via Quantifying the Coverage and Depth of Instruction Set [37.26992936545316]
  スーパーバイドファインチューニング(SFT)に使用されるデータのスケーリングは、モデル性能の比例的なゲインを保証するものではない。 この研究は、SFTスケーラビリティを管理する2つの基本的なデータセット特性を特定する。 モデルに依存しないデータ選択フレームワークである textbfInformation Landscape Approximation (ILA) を提案する。
  論文  参考訳（メタデータ） (2025-09-08T09:22:57Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Sculpting Features from Noise: Reward-Guided Hierarchical Diffusion for Task-Optimal Feature Transformation [18.670626228472877]
  DIFFTは報酬誘導型生成タスクとしてフィーチャートランスフォーメーションを再定義する。 構造的かつ離散的な特徴を生成し、機能内依存関係を保持しながら、並列な機能間生成を可能にする。 予測精度とロバスト性において、最先端のベースラインを一貫して上回り、トレーニングや推論時間を大幅に低下させる。
  論文  参考訳（メタデータ） (2025-05-21T06:18:42Z)
• PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
  ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。 PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。 データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
  論文  参考訳（メタデータ） (2025-02-17T18:43:41Z)
• Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models [12.500777267361102]
  我々は,新しいtextbfpreference-textbforiented 教師付き textbffine-textbftuning アプローチ,すなわち PoFT を導入する。 直感的には、SFTを特定の嗜好を与えることによって強化することであり、同じSFTデータ上で、整列 LLM 上でターゲットモデルをテキストフォバリングする。 PoFTは、さまざまなトレーニングデータセットとベースモデルにわたるSFTベースラインに対して、安定的で一貫した改善を実現している。
  論文  参考訳（メタデータ） (2024-12-17T12:49:14Z)
• Bridging SFT and DPO for Diffusion Model Alignment with Self-Sampling Preference Optimization [67.8738082040299]
  自己サンプリング優先最適化(SSPO)は,訓練後強化学習のための新しいアライメント手法である。 SSPOは、SFTのトレーニング安定性を維持しながら、ペアデータと報酬モデルの必要性を排除する。 SSPOは、テキスト・ツー・イメージベンチマークにおける以前のアプローチを全て上回り、テキスト・ツー・ビデオベンチマークにおける優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-07T17:56:53Z)
• A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning [1.0709300917082865]
  数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。 我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。 提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:50:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。