論文の概要: TAKE: Trajectory-Aware Knowledge Estimation for Text Dataset Distillation

• arxiv url: http://arxiv.org/abs/2607.11898v1
• Date: Sat, 13 Jun 2026 05:57:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-19 21:54:20.400999
• Title: TAKE: Trajectory-Aware Knowledge Estimation for Text Dataset Distillation
• Title（参考訳）: TAKE:テキストデータセット蒸留のための軌道認識知識推定
• Abstract要約: 大規模テキストコーパスは、ストレージだけでなく、トレーニング、微調整、継続的な学習の蓄積コストにおいても、現代のNLPにおいて静かなボトルネックとなっている。 下流タスクの忠実さを保ちながら,コーパスを原サイズの0.1%まで削減するテキストデータセット蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.554750284792393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale text corpora have become a quiet bottleneck in modern NLP, not just in storage, but in the accumulated cost of training, fine-tuning, and continual learning. We propose a text dataset distillation framework that reduces corpora to as little as 0.1% of their original size while preserving downstream task fidelity. We approach distillation through the lens of influence functions, which quantify each sample's contribution to the downstream objective, a natural and principled basis for selection. We introduce Trajectory-Aware Knowledge Estimation (TAKE), which convolves the knowledge-based influence along the training trajectory into a single per-sample knowledge score, capturing informative samples. These scores serve as sample weights within a discrete Optimal Transport objective, guiding prototype selection from a synthetically generated candidate pool. We evaluate TAKE on downstream accuracy across text classification and natural language inference tasks at extreme compression (0.1% or 20 samples/class), showing that data efficiency is achievable without sacrificing task fidelity. The approach is theoretically grounded, with broader implications for coreset construction and data-centric AI. We release our source code at https://github.com/votrinhan88/take.
• Abstract（参考訳）: 大規模テキストコーパスは、ストレージだけでなく、トレーニング、微調整、継続的な学習の蓄積コストにおいても、現代のNLPにおいて静かなボトルネックとなっている。 下流タスクの忠実さを保ちながら,コーパスを原サイズの0.1%まで削減するテキストデータセット蒸留フレームワークを提案する。 本研究は, 各試料の下流目標に対する貢献度を定量化し, 自然的および原理的選択の基盤となる, 影響関数のレンズによる蒸留にアプローチする。 本稿では,学習軌跡に沿った知識に基づく影響を単一サンプル単位の知識スコアにまとめ,情報的サンプルを抽出するトラジェクトリ・アウェア・ナレッジ・アセスメント・アセスメント(TAKE)を提案する。 これらのスコアは、離散的な最適輸送目標内のサンプル重量として機能し、合成された候補プールからプロトタイプの選択を導く。 我々は,テキスト分類および自然言語推論タスクを超過圧縮(0.1%または20サンプル/クラス)でダウンストリーム精度で評価し,タスクの忠実さを犠牲にすることなく,データ効率が達成可能であることを示す。 このアプローチは理論的には根拠があり、コアセットの構築とデータ中心のAIに幅広い意味を持つ。 ソースコードはhttps://github.com/votrinhan88/takeで公開しています。

関連論文リスト

• SAS: Semantic-aware Sampling for Generative Dataset Distillation [55.27114962330541]
  本稿では,コントラスト言語-画像事前学習(CLIP)をポストサンプリングのセマンティクスとして活用することで,データセット蒸留のセマンティック・アウェア・パースペクティブを導入する。 我々のゴールは、コンパクトであるだけでなく、意味的にクラス差別的で多様である蒸留データセットを得ることです。
  論文  参考訳（メタデータ） (2026-05-18T08:05:46Z)
• Unsupervised Active Learning via Natural Feature Progressive Framework [8.553846772569521]
  Natural Feature Progressive Framework (NFPF)は、サンプルの重要度を測定する方法に革命をもたらすUAL手法である。 NFPFは、モデルパフォーマンスに対する各サンプルの貢献を効果的に定量化するために、特定特徴学習マシン(SFLM)を使用している。 包括的実験の結果,NFPFは既存のUAL手法を著しく上回り,視覚データセット上の教師付きAL手法と同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2025-10-06T15:44:33Z)
• Efficient Data Selection at Scale via Influence Distillation [53.03573620682107]
  本稿では,データ選択のための数学的に修飾されたフレームワークであるインフルエンス蒸留を紹介する。 対象分布に対する各試料の影響を蒸留することにより,トレーニングデータの選択に使用されるモデル固有の重みを割り当てる。 実験の結果、蒸留の影響は最先端のパフォーマンスに匹敵し、最大3.5タイムの高速選択を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-25T09:08:00Z)
• Coreset Selection via LLM-based Concept Bottlenecks [6.857632954159568]
  Coreset Selection(CS)は、データセット全体の使用に匹敵するモデルパフォーマンスを達成するトレーニングデータセットのサブセットを特定することを目的としている。 本研究は,ダウンストリームモデルに依存しない人間の理解可能なテキスト属性(概念)を用いて,サンプルの難易度を計算するスコアを提案する。 我々のコアセットは高いプルーニングレートでもランダムなサブセットよりも優れており、動的手法を訓練することによって得られるコアセットに匹敵するモデル性能を実現している。
  論文  参考訳（メタデータ） (2025-02-23T22:14:42Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Influence Scores at Scale for Efficient Language Data Sampling [3.072340427031969]
  影響スコア」は、データの重要なサブセットを特定するために使われる。 本稿では,言語分類タスクにおける影響スコアの適用性について検討する。
  論文  参考訳（メタデータ） (2023-11-27T20:19:22Z)
• Selective In-Context Data Augmentation for Intent Detection using Pointwise V-Information [100.03188187735624]
  PLMとPVI(pointwise V-information)に基づく新しい手法を導入し,モデル学習におけるデータポイントの有用性を計測する。 提案手法はまず,学習データの小さなシード上でPLMを微調整し,与えられた意図に対応する発話を新たに生成する。 そこで本手法は,大規模言語モデルの表現力を活用し,多様な学習データを生成する。
  論文  参考訳（メタデータ） (2023-02-10T07:37:49Z)
• Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation [28.874162427052905]
  本研究では, ランダムノイズ, 公開合成, 自然データセットなどの「任意移動集合」の有効性について検討する。 このデータセットが「ターゲットクラスのバランス」である場合、任意のデータを用いて知識蒸留を行うことによる驚くべき効果を見出す。
  論文  参考訳（メタデータ） (2020-11-18T06:33:20Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。