論文の概要: TACTICL: Task-Aware Compression of Tabular ICL Models

• arxiv url: http://arxiv.org/abs/2608.10837v1
• Date: Tue, 11 Aug 2026 12:03:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.034729
• Title: TACTICL: Task-Aware Compression of Tabular ICL Models
• Title（参考訳）: TACTICL: タブラルICLモデルのタスク認識圧縮
• Abstract要約: 本稿では,テキスト内学習モデルのためのタスク認識圧縮フレームワークであるTACTICLを紹介する。 トランスフォーマー層を創り出し、下流のタスクで訓練された軽量アダプタで置き換える。 ダウンストリームタスクでは,パフォーマンスが大幅に低下することなく,最大85%のレイヤを置換できることが示されています。
• 参考スコア（独自算出の注目度）: 6.437220075258896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The strong performance of foundation models for tabular tasks comes at substantial inference costs. Distilling models into task-specific architectures reduces model size and computational demands but also sacrifices in-context adaptability. Here we introduce TACTICL, an automated task-aware compression framework for tabular in-context learning models that jointly prunes transformer layers and replaces them with lightweight adapters trained on downstream tasks, thus blending in-context with in-weight learning. We study TACTICL on 47 benchmark datasets and show that we can substitute up to 85% of layers without substantial performance drop on a given downstream task. We further show that TACTICL maintains robustness to data shifts, leaving its in-context ability intact. Overall, TACTICL provides a robust framework for exploiting the depth-wise redundancy of tabular foundation models by combining task-specific adaptation and structured compression. We provide the code at: https://github.com/Hebog/tfm_compression
• Abstract（参考訳）: 表型タスクの基礎モデルの強力なパフォーマンスは、かなりの推論コストを伴います。 モデルをタスク固有のアーキテクチャに拡張することは、モデルのサイズと計算要求を減らすだけでなく、コンテキスト内適応性を犠牲にする。 本稿では,TACTICLについて紹介する。TACTICLは,トランスフォーマー層を協調的に創り出し,下流タスクで訓練された軽量なアダプタで置き換える,表層内学習モデルのための自動タスク認識圧縮フレームワークである。 我々は、47のベンチマークデータセット上でTACTICLを調査し、与えられた下流タスクに対して大幅なパフォーマンス低下を伴わずに、最大85%のレイヤーを置換できることを示す。 さらに、TACTICLはデータシフトに対する堅牢性を維持しており、コンテキスト内能力はそのままであることを示す。 全体として、TACTICLはタスク固有の適応と構造化圧縮を組み合わせることで、表層基礎モデルの深さ方向の冗長性を利用するための堅牢なフレームワークを提供する。 https://github.com/Hebog/tfm_compression

関連論文リスト

• MaskTab: Scalable Masked Tabular Pretraining with Scaling Laws and Distillation for Industrial Classification [15.322364163389393]
  MaskTabは、専用の学習可能なトークンを通じて、欠落した値をエンコードする。 工業規模のベンチマークでは、AUCは+5.04%、KSは+8.28%に達する。
  論文  参考訳（メタデータ） (2026-05-12T01:56:04Z)
• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• DEFT: Decompositional Efficient Fine-Tuning for Text-to-Image Models [103.18486625853099]
  DEFT(Decompositional Efficient Fine-Tuning)は、事前トレーニングされた重み行列を2つのコンポーネントに分解することで適応する。 パーソナライズのためのDreamboothおよびDreambench Plusデータセット、オブジェクトおよびシーン適応のためのInsDetデータセット、ユニバーサル画像生成フレームワークのためのVisualClozeデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2025-09-26T18:01:15Z)
• TabDPT: Scaling Tabular Foundation Models on Real Data [20.00390825519329]
  ICLに基づく検索と自己教師付き学習を組み合わせた基礎モデルの学習手法を提案する。 事前学習フェーズに実際のデータを組み込むことで、学習が大幅に速くなり、見当たらないデータへの一般化が向上することを示す。 得られたモデルであるTabDPTは回帰 (CTR23) と分類 (CC18) のベンチマークで最高の性能を達成する。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Transfer Learning for Structured Pruning under Limited Task Data [15.946734013984184]
  本稿では,構造化プルーニングとトランスファーラーニングを組み合わせることで,タスク固有のデータの必要性を減らすフレームワークを提案する。 我々は,強いベースライン上での一般化を改良し,刈り取られたモデルが得られることを実証した。
  論文  参考訳（メタデータ） (2023-11-10T20:23:35Z)
• Unlocking the Transferability of Tokens in Deep Models for Tabular Data [67.11727608815636]
  トレーニング済みのディープニューラルネットワークの微調整は、さまざまな機械学習タスクにおいて成功しているパラダイムとなっている。 本稿では,特徴トークンの品質向上を目的としたTabTokenを提案する。 トークンを規則化し、機能内および機能間のセマンティクスをキャプチャする、対照的な目的を導入します。
  論文  参考訳（メタデータ） (2023-10-23T17:53:09Z)
• CrAFT: Compression-Aware Fine-Tuning for Efficient Visual Task Adaptation [3.043665249713003]
  プルーニングや量子化といったポストトレーニング後の圧縮技術は、デプロイメントコストの削減に役立つ。 本稿では,ネットワーク圧縮を効果的に訓練するフレームワークCrAFTを提案する。 CrAFTアプローチは、単一のGPUで数分または数時間以内に微調整を行うため、無視可能なトレーニングオーバーヘッドを追加する。
  論文  参考訳（メタデータ） (2023-05-08T07:51:40Z)
• STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression [10.067082377396586]
  本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。 STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
  論文  参考訳（メタデータ） (2022-05-30T15:50:48Z)
• Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
  QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
  論文  参考訳（メタデータ） (2022-04-07T10:56:29Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Self-Supervised GAN Compression [32.21713098893454]
  従来の手法では,標準モデル圧縮手法であるウェイトプルーニングがGANに適用できないことを示す。 次に、訓練された判別器を用いて圧縮発電機の訓練を監督する自己教師圧縮手法を開発する。 我々は,このフレームワークが高い疎度に対して魅力的な性能を示し,新しいタスクやモデルに容易に適用できることを示し,異なるプルーニング粒度間の有意義な比較を可能にする。
  論文  参考訳（メタデータ） (2020-07-03T04:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。