論文の概要: Context-Constrained Transfer Learning for Tabular Foundation Models via Data Distillation

• arxiv url: http://arxiv.org/abs/2607.04809v1
• Date: Mon, 06 Jul 2026 08:46:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.089373
• Title: Context-Constrained Transfer Learning for Tabular Foundation Models via Data Distillation
• Title（参考訳）: データ蒸留による語彙基礎モデルの文脈制約伝達学習
• Abstract要約: Tabular Foundation Models (TFMs) は、文脈内学習を通じてブラックボックス推論エンジンとして強力な経験的性能を示した。 本稿では,TL-ANDI (Context-Constrained Transfer Learning via ANchoring and Distillation) を提案する。
• 参考スコア（独自算出の注目度）: 2.34492137576435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular Foundation Models (TFMs) have demonstrated strong empirical performance as black-box inference engines through in-context learning. However, their use in transfer learning is limited by two obstacles: strict context-size constraints and sensitivity to distribution shifts between source and target tasks. Directly pooling heterogeneous source data can therefore lead to negative transfer. To address these challenges, we propose Context-Constrained Transfer Learning via ANchoring and DIstillation (TL-ANDI), a posterior-aware distillation framework for TFMs. TL-ANDI constructs a compact source context by solving a budget-constrained optimal transport problem whose cost jointly measures target covariate coverage and posterior compatibility. The selected anchor samples are then equipped with locally distilled labels and combined with a residual calibration step using target data.
• Abstract（参考訳）: Tabular Foundation Models (TFMs) は、文脈内学習を通じてブラックボックス推論エンジンとして強力な経験的性能を示した。 しかし、伝達学習におけるそれらの使用は、厳密なコンテキストサイズ制約と、ソースとターゲットタスク間の分散シフトに対する感受性の2つの障害によって制限されている。 したがって、不均一なソースデータを直接プールすることは、負の転送につながる可能性がある。 これらの課題に対処するために, TFM の後方対応蒸留フレームワークである Anchoring and Distillation (TL-ANDI) を用いたコンテキスト制約伝達学習を提案する。 TL-ANDIは、コストが共変量カバレッジと後方互換性を目標とする予算制約の最適輸送問題を解決することで、コンパクトなソースコンテキストを構築する。 次に、選択されたアンカーサンプルに、局所蒸留ラベルを設け、ターゲットデータを用いて残留校正工程を組み込む。

関連論文リスト

• Federated Reasoning Distillation Framework with Model Learnability-Aware Data Allocation [33.153769672977035]
  モデル学習可能性を考慮したデータアロケーションを備えた,連合型推論蒸留フレームワークLaDaを提案する。 LaDaは既存のコラボレーションフレームワーク用のプラグインモジュールとして動作し、モデルの学習可能性ギャップに基づいた知識伝達を適用する。
  論文  参考訳（メタデータ） (2026-02-21T08:18:39Z)
• Distributionally Robust Federated Learning with Outlier Resilience [8.69285602685459]
  本研究では, 分散的頑健なフェデレーション学習について, 明確な外部レジリエンスを用いて検討した。 我々は、ロバスト性証明を許容するトラクタブルなラグランジアンペナルティ最適化として問題を再構築する。 この改革に基づいて,分散外乱フェデレーション学習アルゴリズムを提案し,その収束保証を確立する。
  論文  参考訳（メタデータ） (2025-09-29T08:42:12Z)
• Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces [10.86297454943578]
  本稿では,限られたラベル付きデータに対するトレーニングの課題に対処する,半教師付き微調整フレームワークを提案する。 いくつかのデータセットの実験では、極低ラベル条件下での分類タスクが大幅に改善された。
  論文  参考訳（メタデータ） (2025-03-10T20:56:54Z)
• Enhancing Information Maximization with Distance-Aware Contrastive Learning for Source-Free Cross-Domain Few-Shot Learning [55.715623885418815]
  クロスドメインのFew-Shot Learningメソッドは、トレーニング前のフェーズでモデルをトレーニングするために、ソースドメインデータにアクセスする必要がある。 データプライバシやデータ送信やトレーニングコストの削減に対する懸念が高まっているため,ソースデータにアクセスせずにCDFSLソリューションを開発する必要がある。 本稿では,これらの課題に対処するための距離対応コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-03-04T12:10:24Z)
• Robust Transfer Learning with Unreliable Source Data [11.813197709246289]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Balancing Discriminability and Transferability for Source-Free Domain Adaptation [55.143687986324935]
  従来のドメイン適応(DA)技術は、ドメイン不変表現を学習することでドメイン転送性を改善することを目的としている。 ラベル付けされたソースとラベル付けされていないターゲットへの同時アクセス要件は、ソースフリーなDA設定に適さない。 そこで本研究では,原文と翻訳サンプルの混在が識別可能性と伝達可能性のトレードオフを促進することを示す新しい知見を導出する。
  論文  参考訳（メタデータ） (2022-06-16T09:06:22Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。