論文の概要: Exploring the Mystery of Influential Data for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2404.01067v1
• Date: Mon, 1 Apr 2024 12:01:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:35:23.902748
• Title: Exploring the Mystery of Influential Data for Mathematical Reasoning
• Title（参考訳）: 数学的推論のためのインフルエンシャルデータの謎を探る
• Authors: Xinzhe Ni, Yeyun Gong, Zhibin Gou, Yelong Shen, Yujiu Yang, Nan Duan, Weizhu Chen,
• Abstract要約: 数学的推論のためのQaDS(Quality-Aware Diverse Selection)戦略を提案する。 他の選択戦略との比較は、QaDSの優位性を検証する。 OpenMathMixでは、7Bベースモデルを用いたMATHで最先端の48.8%の精度を実現している。
• 参考スコア（独自算出の注目度）: 127.61978092016228
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selecting influential data for fine-tuning on downstream tasks is a key factor for both performance and computation efficiency. Recent works have shown that training with only limited data can show a superior performance on general tasks. However, the feasibility on mathematical reasoning tasks has not been validated. To go further, there exist two open questions for mathematical reasoning: how to select influential data and what is an influential data composition. For the former one, we propose a Quality-aware Diverse Selection (QaDS) strategy adaptable for mathematical reasoning. A comparison with other selection strategies validates the superiority of QaDS. For the latter one, we first enlarge our setting and explore the influential data composition. We conduct a series of experiments and highlight: scaling up reasoning data, and training with general data selected by QaDS is helpful. Then, we define our optimal mixture as OpenMathMix, an influential data mixture with open-source data selected by QaDS. With OpenMathMix, we achieve a state-of-the-art 48.8% accuracy on MATH with 7B base model. Additionally, we showcase the use of QaDS in creating efficient fine-tuning mixtures with various selection ratios, and analyze the quality of a wide range of open-source datasets, which can perform as a reference for future works on mathematical reasoning tasks.
• Abstract（参考訳）: 下流タスクの微調整に有効なデータを選択することは、パフォーマンスと計算効率の両方にとって重要な要素である。 近年の研究では、限られたデータのみによるトレーニングは、一般的なタスクにおいて優れたパフォーマンスを示すことが示されている。 しかし、数学的推論タスクの実現性は検証されていない。 さらに、数学的推論には2つのオープンな質問がある: 影響のあるデータをどのように選択するかと、影響のあるデータ構成は何か。 前者に対しては,数学的推論に適応したQaDS(Quality-Aware Diverse Selection)戦略を提案する。 他の選択戦略との比較は、QaDSの優位性を検証する。 後者については、まず設定を拡大し、影響力のあるデータ構成を探索する。 推論データのスケールアップと,QaDSが選択した一般データによるトレーニングが有用である。 そこで,我々は,QaDS が選択したオープンソースデータと有意なデータ混合である OpenMathMix を最適混合として定義する。 OpenMathMixでは、7Bベースモデルを用いたMATHで最先端の48.8%の精度を実現している。 さらに,様々な選択比を持つ効率的な微調整混合物の創出にQaDSを用い,様々なオープンソースデータセットの品質を解析し,今後の数学的推論タスクの参考として機能することを示す。

関連論文リスト

• Improving Influence-based Instruction Tuning Data Selection for Balanced Learning of Diverse Capabilities [15.92881751491451]
  影響に基づく手法は,(1)モデルの予測に対する各トレーニング例の貢献を推定することで,(1)達成の約束を示すが,(2)に苦慮することが多い。 系統的な調査により、この過小評価は、特定のタスクが本質的に他のタスクよりも大きな影響を持つ固有のバイアスに起因することが判明した。 その結果、データ選択は、しばしばこれらのタスクに偏りがあり、モデルの性能を害するだけでなく、非意図的に、これらの高影響タスク自体のパフォーマンスを損なう。
  論文  参考訳（メタデータ） (2025-01-21T14:00:43Z)
• ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning [29.001249598245]
  Reward-Oriented inStruction data sElectionを導入し、タスク固有の命令チューニングのためのデータ選択を最適化する。 ROSEは、最もタスク関連のトレーニングデータポイントを選択するために、数ショットの選好検証セットに対するトレーニングデータポイントの影響を近似するために影響定式化を適用する。
  論文  参考訳（メタデータ） (2024-12-01T01:01:09Z)
• Compute-Constrained Data Selection [77.06528009072967]
  多くの強力なデータ選択手法は、ほとんど計算に最適ではないことが分かりました。 計算最適トレーニングでは、パープレキシティと勾配データ選択は、それぞれ5xと10xのトレーニング-選択モデルサイズ比を必要とする。
  論文  参考訳（メタデータ） (2024-10-21T17:11:21Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition [64.86360698067764]
  本研究は, 教師付き微調整における数学的推論, コード生成, 一般人適応能力間のデータ合成の相互作用に着目した。 我々の実験では、異なる能力のスケールが異なり、より大きなモデルでは、通常、同じ量のデータで優れたパフォーマンスを示す。 その結果, 合成データの量は, 合成比よりも性能に影響を及ぼすことが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T07:56:16Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。