論文の概要: Investigating the Robustness of Subtask Distillation under Spurious Correlation

• arxiv url: http://arxiv.org/abs/2602.00852v1
• Date: Sat, 31 Jan 2026 18:33:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.435025
• Title: Investigating the Robustness of Subtask Distillation under Spurious Correlation
• Title（参考訳）: 純度相関下におけるサブタスク蒸留のロバスト性の検討
• Authors: Pattarawat Chormai, Klaus-Robert Müller, Grégoire Montavon,
• Abstract要約: サブタスク蒸留は、大規模で汎用的な「基礎モデル」からコンパクトで特殊なモデルを抽出する新興パラダイムである。 蒸留は教師モデルを用いるが、サイズが制限されることが多く、代表性を欠いたり、素早い相関関係を示すようなデータセットに依存している。 蒸留に急激な相関関係を持つデータを用いた場合, 確立された蒸留法および最近のサブ蒸留法の評価を行った。
• 参考スコア（独自算出の注目度）: 18.670362436223666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Subtask distillation is an emerging paradigm in which compact, specialized models are extracted from large, general-purpose 'foundation models' for deployment in environments with limited resources or in standalone computer systems. Although distillation uses a teacher model, it still relies on a dataset that is often limited in size and may lack representativeness or exhibit spurious correlations. In this paper, we evaluate established distillation methods, as well as the recent SubDistill method, when using data with spurious correlations for distillation. As the strength of the correlations increases, we observe a widening gap between advanced methods, such as SubDistill, which remain fairly robust, and some baseline methods, which degrade to near-random performance. Overall, our study underscores the challenges of knowledge distillation when applied to imperfect, real-world datasets, particularly those with spurious correlations.
• Abstract（参考訳）: サブタスク蒸留(Subtask distillation)は、限られた資源を持つ環境やスタンドアロンのコンピュータシステムにおいて、大規模で汎用的な「基礎モデル」から、コンパクトで特殊なモデルを抽出する新興パラダイムである。 蒸留は教師モデルを用いるが、サイズが制限されることが多く、代表性を欠いたり、素早い相関関係を示すようなデータセットに依存している。 本稿では, 蒸留法と最近のSubDistill法について, 蒸留に急激な相関関係を持つデータを用いて検討した。 相関関係の強度が増大するにつれて, 比較的頑健なSubDistill法や, ほぼランダムな性能に低下するベースライン法など, 高度な手法のギャップが広がる。 本研究は,不完全な実世界のデータセット,特に急激な相関関係を持つデータセットに適用した場合の知識蒸留の課題を概観する。

関連論文リスト

• Knowledge Distillation of Uncertainty using Deep Latent Factor Model [10.148306002388196]
  ガウス蒸留と呼ばれる新しい流通蒸留法を導入する。 これは、Dep Latent Factor Model (DLF)と呼ばれる特殊なガウス過程による教師のアンサンブルの分布を推定する。 複数のベンチマークデータセットを用いて,提案したガウス蒸留が既存のベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-22T06:46:59Z)
• Diversity-Driven Generative Dataset Distillation Based on Diffusion Model with Self-Adaptive Memory [33.38900857290244]
  この問題を解決するために,拡散モデルに基づく多様性駆動型生成データセット蒸留法を提案する。 蒸留されたデータセットと実際のデータセットの分布を一致させる自己適応メモリを導入し、代表性を評価する。 我々の手法は、ほとんどの状況で既存の最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2025-05-26T03:48:56Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• Robust Dataset Distillation by Matching Adversarial Trajectories [21.52323435014135]
  我々は, 蒸留プロセス中に, 対向的堅牢性を合成データセットに組み込む新しいパラダイムである「ロバストデータセット蒸留」の課題を紹介する。 本稿では, トラジェクトリに基づくデータセット蒸留に, 逆行訓練を統合する手法であるMatching Adversarial Trajectories (MAT)を提案する。 MATは、トラジェクトリ生成中に反対のサンプルを取り込み、堅牢なトレーニング軌跡を得る。
  論文  参考訳（メタデータ） (2025-03-15T10:02:38Z)
• Generative Dataset Distillation Based on Self-knowledge Distillation [49.20086587208214]
  本稿では,予測ロジットの整列精度を向上させる新しい生成データセット蒸留法を提案する。 本手法は, 合成データと原データとのより正確な分布マッチングを実現するために, 自己知識蒸留を統合したものである。 提案手法は, 既存の最先端手法より優れており, 蒸留性能が良好である。
  論文  参考訳（メタデータ） (2025-01-08T00:43:31Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Mind the Gap in Distilling StyleGANs [100.58444291751015]
  StyleGANファミリは、非条件生成のためのGAN(Generative Adversarial Networks)として最も人気のあるものの一つである。 本稿では,StyleGAN-likeアーキテクチャの蒸留に関する総合的研究について述べる。
  論文  参考訳（メタデータ） (2022-08-18T14:18:29Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Why distillation helps: a statistical perspective [69.90148901064747]
  知識蒸留は、単純な「学生」モデルの性能を向上させる技術である。 この単純なアプローチは広く有効であることが証明されているが、基本的な問題は未解決のままである。 蒸留が既存の負の鉱業技術をどのように補完し, 極端に多層的検索を行うかを示す。
  論文  参考訳（メタデータ） (2020-05-21T01:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。