論文の概要: "High-Quality" Data for Early-Stage Instruction Tuning: An Empirical Study of Data Quality Metrics

• arxiv url: http://arxiv.org/abs/2610.33969v1
• Date: Sun, 25 Oct 2026 00:49:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.512122
• Title: "High-Quality" Data for Early-Stage Instruction Tuning: An Empirical Study of Data Quality Metrics
• Title（参考訳）: アーリーステージインストラクションチューニングのための「ハイクオリティ」データ--データ品質指標の実証的研究
• Abstract要約: 「データ品質」は命令調律において広く呼ばれるが、その用語は不明確であることが多い。 本研究では,データ選択,テキスト品質,命令チューニングに関する先行研究から得られた単純なサンプルレベルの指標,固定された微調整予算下での最高のトレーニングユーティリティを問うことで,運用上の特性として検討する。 以上の結果から, 回答密度の監視は, 一般的に用いられる代替プロキシよりも, より強く, よりポータブルな命令調整ユーティリティの予測因子であることが示唆された。
• 参考スコア（独自算出の注目度）: 1.2744523252873352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: "Data quality" is widely invoked in instruction tuning, but the term is often underspecified. We study it as an operational property by asking which simple example-level metrics, drawn from prior work on data selection, text quality, and instruction tuning, best predict training utility under a fixed finetuning budget. For each metric, we sort instruction-response examples by score, partition them into low, middle, and high bins with roughly equal token mass, finetune separately on each bin, and compare validation perplexity and LLM-as-judge scores for the models' generated answers as a function of cumulative training tokens. Our results suggest that answer-dense supervision, as captured by response ratio, is a stronger and more portable predictor of instruction-tuning utility than commonly used alternative proxies.
• Abstract（参考訳）: 「データ品質」は命令調律において広く呼ばれるが、その用語は不明確であることが多い。 本研究では,データ選択,テキスト品質,命令チューニングに関する先行研究から得られた単純なサンプルレベルの指標,固定された微調整予算下での最高のトレーニングユーティリティを問うことで,運用上の特性として検討する。 各指標について,各基準値に対して,各基準値に対してほぼ等しいトークン質量の低値,中値,高値のビンに分割し,モデル生成した回答に対する検証の難易度とLCM-as-judgeスコアを累積学習トークンの関数として比較する。 以上の結果から, 回答密度の監視は, 一般的に用いられる代替プロキシよりも, より強く, よりポータブルな命令調整ユーティリティの予測因子であることが示唆された。

関連論文リスト

• Instruction Quality Matters: Refining Instructions for Effective Preference Learning [19.674135177469186]
  選好学習において,指導の質を隠されたボトルネックとして認識する。 提案手法は, サンプル応答品質の天井面と床面の両方に制約があることを示す。 本稿では、報酬信号を用いて弱い命令を選択して修正する命令補充パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-08-27T08:09:36Z)
• FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale [56.03294218908334]
  大規模言語モデル(LLM)は通常、自己監督型の"次の単語を予測する"目的を通じて事前訓練される。 モデルをユーザにとって有用なものにするために、命令と応答の教師付きトレーニング例からなる、はるかに少ない量の「インストラクションチューニング」データに基づいて、さらに訓練されている。 本稿では,インターネット規模の事前学習文書の知識を,数十億の合成指導と解答訓練ペアに変換する手法を提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:58:47Z)
• T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning [5.963754140027611]
  Token-Selective HIeRarchical Data Selection for Instruction Tuning (T-SHIRT)は、新しいデータ選択フレームワークである。 我々は、キュレートされたデータセットでチューニングされたモデルが、大規模データセット全体においてトレーニングされたモデルよりも優れていることを実証した。
  論文  参考訳（メタデータ） (2025-06-02T04:59:17Z)
• RECOST: External Knowledge Guided Data-efficient Instruction Tuning [25.985023475991625]
  我々は、現在のデータ効率のよい命令チューニング手法は、元の命令チューニングデータセットの品質に大きく依存していると論じる。 我々は、外部知識ベースの再評価と多様性に一貫性のあるサンプリングを単一のパイプラインに統合する、textbfRECOSTと呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-27T09:47:36Z)
• One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
  textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。 我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-16T03:33:12Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。