論文の概要: The Harder The Better: Maintaining Supervised Fine-tuning Generalization with Less but Harder Data

• arxiv url: http://arxiv.org/abs/2510.13892v1
• Date: Tue, 14 Oct 2025 08:25:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.517667
• Title: The Harder The Better: Maintaining Supervised Fine-tuning Generalization with Less but Harder Data
• Title（参考訳）: よりハードなデータ: より少ないがハードなデータで微調整の一般化を維持する
• Authors: Zhaoyang Shang, Sibo Wei, Jianbin Guo, Rui Zhou, Lifeng Dong, Yin Luo,
• Abstract要約: 我々は,データ選択とアノテーション指導のための認知科学に触発されたフレームワークTHTB(The Harder The Better)を提案する。 実験の結果、THTBは、データの5%しかトレーニングされていないモデルを、フルデータセットトレーニングを上回るパフォーマンスで実現している。 さらにTHTBは、垂直領域で効果的なガイダンスを提供するため、2%のデータでトレーニングされたモデルが、はるかに大きなデータセットでトレーニングされたモデルを上回ることができる。
• 参考スコア（独自算出の注目度）: 6.136716058442803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) excel in general tasks, but adapting them to specialized domains relies on high-quality supervised fine-tuning (SFT) data. Although existing methods can identify subsets of high-quality data and reduce training cost to some extent, their selection process still suffers from over-reliance on LLMs' internal knowledge, weak interpretability, and limited generalization. To address these limitations, we propose THTB (The Harder The Better), a cognitive science-inspired framework for instruction data selection and annotation guidance. THTB prioritizes higher-level cognitive instructions by combining quality filtering with intrinsic and extrinsic hardness scoring, offering interpretable and quantifiable criteria for efficient SFT, both in data selection and annotation guidance. Experiments show that THTB enables models trained on only 5% of the data to outperform full-dataset training, while achieving superior generalization compared with LLM-only selection. In addition, THTB provides effective annotation guidance in vertical domains, enabling a model trained on just 2% of the data to surpass models trained on much larger datasets, demonstrating strong potential for domain adaptation. Our code, datasets, and models are available on https://github.com/DYJG-research/THTB.
• Abstract（参考訳）: LLM(Large Language Models)は一般的なタスクに優れるが、専門分野に適応するには高品質な教師付き微調整(SFT)データに依存する。 既存の手法では、高品質なデータのサブセットを特定し、ある程度のトレーニングコストを削減できるが、その選択プロセスはLLMの内部知識への過度な依存、弱い解釈可能性、限定的な一般化に悩まされている。 これらの制約に対処するため, THTB (The Harder The Better) を提案する。 THTBは、データ選択とガイダンスの両方において、効率的なSFTの解釈可能かつ定量的な基準を提供するため、品質フィルタリングと本質的および外生的硬度スコアリングを組み合わせることで、より高いレベルの認知指導を優先する。 実験により、THTBはデータの5%しか訓練されていないモデルでフルデータセットトレーニングを上回り、LSMのみの選択よりも優れた一般化を実現していることが示された。 さらにTHTBは、垂直領域で効果的なガイダンスを提供し、2%のデータセットでトレーニングされたモデルが、はるかに大きなデータセットでトレーニングされたモデルを上回ることを可能とし、ドメイン適応の強い可能性を示している。 私たちのコード、データセット、モデルはhttps://github.com/DYJG-research/THTBで公開されています。

関連論文リスト

• InfiAlign: A Scalable and Sample-Efficient Framework for Aligning LLMs to Enhance Reasoning Capabilities [27.09178257629886]
  InfiAlignは、大規模言語モデル(LLM)のためのスケーラブルでサンプル効率の良いポストトレーニングフレームワークである InfiAlignの中核は、オープンソースの推論から高品質なアライメントデータを自動的にキュレートする堅牢なデータ選択パイプラインである。 本結果は,基本データ選択とフルステージポストトレーニングの併用の有効性を強調した。
  論文  参考訳（メタデータ） (2025-08-07T15:34:06Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。