論文の概要: TICDA: Tabular In-Context Data Attribution
- arxiv url: http://arxiv.org/abs/2610.07996v1
- Date: Tue, 06 Oct 2026 08:55:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.906669
- Title: TICDA: Tabular In-Context Data Attribution
- Title(参考訳): TICDA: Tabular In-Context Data Attribution
- Abstract要約: タブラル基礎モデル(TFM)は,コンテキストに付与されたラベル付きデモンストレーションを条件付けすることで,強い予測性能を実現する。
個々のデモンストレーションが特定の予測をどう形成するかは、いまだに理解されていない。
標準データ属性法は、FM設定に転送しない。
TFM遅延埋め込みで訓練された線形サロゲートから直接、文脈におけるすべてのデモンストレーションの影響を測定する手法であるTICDAを紹介する。
- 参考スコア(独自算出の注目度): 1.21567005387285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tabular foundation models (TFMs) achieve strong predictive performance by conditioning on labeled demonstrations provided in context, without any parameter update. Yet how individual demonstrations shape a given prediction remains poorly understood. This gap matters in practice: the context is often assembled from whatever labeled data is available, potentially leading to the inclusion of mislabeled, redundant, or low-quality examples that degrade performance. Standard data attribution methods do not transfer to the TFM setting: resampling-based approaches such as DemoShapley require a combinatorial number of forward passes, and gradient-based estimators such as influence functions require computing training point's effect on the model parameters, which in-context learning never updates. We introduce TICDA, a method that measures the influence of every demonstration in the context directly from linear surrogates trained on TFM latent embeddings, in a single forward pass and at negligible cost. We show that TICDA offers the best compromise against competitors across four tasks: detecting labeling errors, curating context to preserve predictive accuracy while lowering inference cost, producing attribution scores that transfer across TFMs, and supporting an acquisition strategy for efficient active learning.
- Abstract(参考訳): Tabular foundation model (TFMs) は、パラメータを更新することなく、ラベル付きデモをコンテキストで条件付けすることで、強力な予測性能を実現する。
しかし、個々のデモンストレーションがどのように特定の予測を形作るかは、いまだに理解されていない。
コンテキストはラベル付きデータからしばしば組み立てられ、性能を低下させる、ラベル付き、冗長、あるいは低品質な例が加えられる可能性がある。
DemoShapleyのようなサンプルベースのアプローチでは、フォワードパスの組合せ数が必要であり、インフルエンス関数のような勾配ベースの推定器では、コンテキスト内学習では更新されないモデルパラメータに対するトレーニングポイントの影響が求められる。
TFMラテント埋め込みで訓練された線形サロゲートから直接、単一のフォワードパスと無視可能なコストで、文脈におけるすべてのデモンストレーションの影響を測定する手法であるTICDAを導入する。
TICDAは、ラベル付けエラーの検出、予測精度の算出、推論コストの低減、TFM間で転送される属性スコアの生成、効率的な能動学習のための獲得戦略の4つのタスクにおいて、競合相手に対して最高の妥協を提供することを示す。
関連論文リスト
- Training Fair Tabular Foundation Models [16.092437823158402]
合成フェアネスタスクに基づくスケーラブルなトレーニング戦略と、勾配反転層を用いたフェアネス対応アーキテクチャを提案する。
132のフェアネスタスクの実験は、競争精度を維持しながら、フェアネスが一貫した改善を示す。
論文 参考訳(メタデータ) (2026-08-14T11:40:04Z) - Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。
FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。
FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
論文 参考訳(メタデータ) (2026-02-28T05:41:57Z) - The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。
UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。
実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
論文 参考訳(メタデータ) (2025-03-04T18:56:03Z) - Efficient and Context-Aware Label Propagation for Zero-/Few-Shot Training-Free Adaptation of Vision-Language Model [41.55165760439727]
視覚言語モデル(VLM)は、さまざまな下流タスクに取り組むために、トレーニング済みの大きなモデルを活用することで、機械学習に革命をもたらした。
ラベル効率適応と推論のためのグラフベースの手法を提案する。
提案手法は,テキストプロンプト,少数ショット例,テストサンプルのグラフを動的に構築する。
論文 参考訳(メタデータ) (2024-12-24T09:15:00Z) - On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
教師付き微調整後の文脈認識の喪失について検討した。
性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。
一般命令微調整データセットから文脈依存例を識別する指標を提案する。
論文 参考訳(メタデータ) (2024-11-05T00:16:01Z) - Adv-SSL: Adversarial Self-Supervised Representation Learning with Theoretical Guarantees [13.101271535462118]
本稿では,アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインb
我々のアプローチは、既存のメソッドを複数のベンチマークデータセットで上回るだけでなく、包括的なエンドツーエンドの理論的保証によってもサポートされています。
論文 参考訳(メタデータ) (2024-08-16T05:11:52Z) - Cluster-level pseudo-labelling for source-free cross-domain facial
expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。
本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。
提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-10-11T08:24:50Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。