論文の概要: Complexity-aware fine-tuning

• arxiv url: http://arxiv.org/abs/2506.21220v1
• Date: Thu, 26 Jun 2025 13:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.089301
• Title: Complexity-aware fine-tuning
• Title（参考訳）: 複雑度を考慮した微調整
• Authors: Andrey Goncharov, Daniil Vyazhev, Petr Sychev, Edvard Khalafyan, Alexey Zaytsev,
• Abstract要約: 汎用大規模言語モデル(LLM)は、特定のドメインの性能を高めるために、教師付き微調整(SFT)によってしばしば微調整される。 本稿では,エントロピーによって同定される複雑なデータに対してのみ推論を用いる,効率的な微調整のための新しい青写真を提案する。
• 参考スコア（独自算出の注目度）: 2.0393477576774752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General-purpose Large Language Models (LLMs) are frequently fine-tuned through supervised fine-tuning (SFT) to enhance performance in specific domains. Better results can be achieved by distilling the chain-of-thought of a larger model at the cost of numerous expensive calls and a much greater amount of data. We propose a novel blueprint for efficient fine-tuning that uses reasoning only for complex data identified by entropy. Specifically, across two small open models ($\approx 3B$) we split the training data into complexity categories by a single token answer entropy (ROC AUC $0.73$), fine-tune large language models (LLMs) via SFT and distillation, and show that our pipeline significantly outperforms the standard SFT approach ($0.55$ vs $0.43$ average accuracy) and provides comparable with distillation performance while using $62\%$ less data ($0.55$ average accuracy for both). We publish our code and data to facilitate further research in this direction.
• Abstract（参考訳）: 汎用大規模言語モデル(LLM)は、特定のドメインの性能を高めるために、教師付き微調整(SFT)によってしばしば微調整される。 多数の高価な呼び出しとはるかに多くのデータによって、より大きなモデルのチェーン・オブ・シークレットを蒸留することで、より良い結果が得られる。 本稿では,エントロピーによって同定される複雑なデータに対してのみ推論を用いる,効率的な微調整のための新しい青写真を提案する。 具体的には、2つの小さなオープンモデル(\approx 3B$)にまたがって、トレーニングデータを単一トークン応答エントロピー(ROC AUC $0.73$)、SFTと蒸留によるファインチューンな大規模言語モデル(LLMs)で分割し、パイプラインが標準のSFTアプローチ(0.55$対0.43$平均精度)を著しく上回ることを示す。 この方向のさらなる研究を促進するため、コードとデータを公開しています。

関連論文リスト

• Efficient Ensemble for Fine-tuning Language Models on Multiple Datasets [17.79010397902909]
  量子化LoRAのような既存の方法は、単一のデータセットに適応する際に効率的である。 タスク毎に1つのアダプタではなく、複数の小さなアダプタのアンサンブルを提案する。 我々のアプローチでは、QLoRAよりも10%高い平均テスト精度が提供され、わずか9%以上のFLOPが提供されます。
  論文  参考訳（メタデータ） (2025-05-28T03:27:08Z)
• Balancing the Budget: Understanding Trade-offs Between Supervised and Preference-Based Finetuning [18.381178799923514]
  大規模言語モデルの訓練後、しばしば監視ファインタニング(SFT)のパイプラインと、優先度ファインタニング(PFT)が伴う。 本研究では,2段階間のトレーニングデータ予算を最適に割り当てる方法について検討する。
  論文  参考訳（メタデータ） (2025-02-16T21:57:35Z)
• Making Multi-Axis Gaussian Graphical Models Scalable to Millions of Samples and Features [0.30723404270319693]
  我々は独立性を仮定することなく、$O(n2)$ランタイムと$O(n)$スペース複雑性を持つメソッドを導入する。 我々は,実世界の1000,000セルのscRNA-seqデータセットなど,前例のない大規模なデータセットに対して,我々のアプローチが適用可能であることを実証した。
  論文  参考訳（メタデータ） (2024-07-29T11:15:25Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• On Optimal Caching and Model Multiplexing for Large Model Inference [66.50550915522551]
  大きな言語モデル(LLM)や他の大きな基盤モデルは注目すべき成功を収めているが、そのサイズは既存のリソース消費とレイテンシーの問題を悪化させている。 キャッシュを用いて以前のクエリを格納し、モデルの多重化を学習し、クエリ処理のためのモデルの集合から選択する。
  論文  参考訳（メタデータ） (2023-06-03T05:01:51Z)
• Distill or Annotate? Cost-Efficient Fine-Tuning of Compact Models [19.464992602919015]
  微調整された大型モデルは非常に効果的であるが、推論は高価であり、二酸化炭素を排出する可能性がある。 T5-XXL (11B) から T5-Small (60M) への蒸留は, より多くのデータに注釈を付けるよりも, ほぼ常にコスト効率のよい方法であることを示す。 コード、データセット、アノテーションのコスト見積、ベースラインモデルをベンチマークとして使用して、コンパクトモデルのコスト効率のトレーニングをさらに支援します。
  論文  参考訳（メタデータ） (2023-05-02T17:56:16Z)
• Infinite Recommendation Networks: A Data-Centric Approach [8.044430277912936]
  Neural Tangent Kernelを活用して、無限大のニューラルネットワークをトレーニングし、無限大のボトルネック層を持つオートエンコーダであるinfty$-AEを考案します。 また、小型で高忠実なデータ要約を合成するためのDistill-CFを開発した。 我々は、最初のデータセットサイズの0.1%に満たない完全なデータセット上で、infty$-AEのパフォーマンスの96-105%を観察した。
  論文  参考訳（メタデータ） (2022-06-03T00:34:13Z)
• An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
  環境からの状態遷移を観察するのは費用がかかる。 標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。 本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
  論文  参考訳（メタデータ） (2021-12-09T23:13:57Z)
• FANOK: Knockoffs in Linear Time [73.5154025911318]
  本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 当社のメソッドは、最大50,000ドルという問題でテストしています。
  論文  参考訳（メタデータ） (2020-06-15T21:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。