論文の概要: The Harder The Better: Maintaining Supervised Fine-tuning Generalization with Less but Harder Data

• arxiv url: http://arxiv.org/abs/2510.13892v1
• Date: Tue, 14 Oct 2025 08:25:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.517667
• Title: The Harder The Better: Maintaining Supervised Fine-tuning Generalization with Less but Harder Data
• Title（参考訳）: よりハードなデータ: より少ないがハードなデータで微調整の一般化を維持する
• Authors: Zhaoyang Shang, Sibo Wei, Jianbin Guo, Rui Zhou, Lifeng Dong, Yin Luo,
• Abstract要約: 我々は,データ選択とアノテーション指導のための認知科学に触発されたフレームワークTHTB(The Harder The Better)を提案する。 実験の結果、THTBは、データの5%しかトレーニングされていないモデルを、フルデータセットトレーニングを上回るパフォーマンスで実現している。 さらにTHTBは、垂直領域で効果的なガイダンスを提供するため、2%のデータでトレーニングされたモデルが、はるかに大きなデータセットでトレーニングされたモデルを上回ることができる。
• 参考スコア（独自算出の注目度）: 6.136716058442803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) excel in general tasks, but adapting them to specialized domains relies on high-quality supervised fine-tuning (SFT) data. Although existing methods can identify subsets of high-quality data and reduce training cost to some extent, their selection process still suffers from over-reliance on LLMs' internal knowledge, weak interpretability, and limited generalization. To address these limitations, we propose THTB (The Harder The Better), a cognitive science-inspired framework for instruction data selection and annotation guidance. THTB prioritizes higher-level cognitive instructions by combining quality filtering with intrinsic and extrinsic hardness scoring, offering interpretable and quantifiable criteria for efficient SFT, both in data selection and annotation guidance. Experiments show that THTB enables models trained on only 5% of the data to outperform full-dataset training, while achieving superior generalization compared with LLM-only selection. In addition, THTB provides effective annotation guidance in vertical domains, enabling a model trained on just 2% of the data to surpass models trained on much larger datasets, demonstrating strong potential for domain adaptation. Our code, datasets, and models are available on https://github.com/DYJG-research/THTB.
• Abstract（参考訳）: LLM(Large Language Models)は一般的なタスクに優れるが、専門分野に適応するには高品質な教師付き微調整(SFT)データに依存する。 既存の手法では、高品質なデータのサブセットを特定し、ある程度のトレーニングコストを削減できるが、その選択プロセスはLLMの内部知識への過度な依存、弱い解釈可能性、限定的な一般化に悩まされている。 これらの制約に対処するため, THTB (The Harder The Better) を提案する。 THTBは、データ選択とガイダンスの両方において、効率的なSFTの解釈可能かつ定量的な基準を提供するため、品質フィルタリングと本質的および外生的硬度スコアリングを組み合わせることで、より高いレベルの認知指導を優先する。 実験により、THTBはデータの5%しか訓練されていないモデルでフルデータセットトレーニングを上回り、LSMのみの選択よりも優れた一般化を実現していることが示された。 さらにTHTBは、垂直領域で効果的なガイダンスを提供し、2%のデータセットでトレーニングされたモデルが、はるかに大きなデータセットでトレーニングされたモデルを上回ることを可能とし、ドメイン適応の強い可能性を示している。 私たちのコード、データセット、モデルはhttps://github.com/DYJG-research/THTBで公開されています。

関連論文リスト

• Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM [51.21051698747157]
  大規模言語モデル(LLM)の教師付き微調整のための自己適応型勾配対応データ選択手法(GrADS)を提案する。 具体的には、勾配の大きさと統計的分布を利用した自己指導型基準を設計し、モデルの学習プロセスに最も寄与する例を優先する。 GrADSは、医学、法学、金融など様々な分野にまたがる様々なLLMの広範な実験を通じて、大幅な効率性と費用対効果を示してきた。
  論文  参考訳（メタデータ） (2025-11-07T08:34:50Z)
• Towards Understanding Valuable Preference Data for Large Language Model Alignment [85.38864561060088]
  大規模言語モデル(LLM)のアライメントは通常、人間の好みの比較から学習することで達成される。 新たに提案したTruncated Influence Function (TIF) を用いた検証データに対する個人の影響によるデータ品質の評価を行う。 この目的のために、我々はそれらを組み合わせ、様々なエラーソースをオフセットし、単純だが効果的なデータ選択ルールをもたらす。
  論文  参考訳（メタデータ） (2025-10-15T06:57:55Z)
• InfiAlign: A Scalable and Sample-Efficient Framework for Aligning LLMs to Enhance Reasoning Capabilities [27.09178257629886]
  InfiAlignは、大規模言語モデル(LLM)のためのスケーラブルでサンプル効率の良いポストトレーニングフレームワークである InfiAlignの中核は、オープンソースの推論から高品質なアライメントデータを自動的にキュレートする堅牢なデータ選択パイプラインである。 本結果は,基本データ選択とフルステージポストトレーニングの併用の有効性を強調した。
  論文  参考訳（メタデータ） (2025-08-07T15:34:06Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Difficulty-Based Preference Data Selection by DPO Implicit Reward Gap [13.89078939095465]
  本稿では,DPOの暗黙的な報酬機構を基盤とした,嗜好データセットの難易度に基づく新たなデータ選択手法を提案する。 このアプローチは、複数のデータセットとアライメントタスクで、5つの強力なベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-08-06T07:24:14Z)
• SLearnLLM: A Self-Learning Framework for Efficient Domain-Specific Adaptation of Large Language Models [7.44035983292392]
  人間の学習パターンにインスパイアされた大規模言語モデル(LLM)のための自己学習フレームワークを提案する。 このフレームワークは特定のドメインの細調整(SFT)データセットを入力として取り込む。 また,本手法は,全データセットの微調整で得られたものと比較して,トレーニング時間を大幅に短縮することを示す。
  論文  参考訳（メタデータ） (2025-05-23T04:50:54Z)
• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。