論文の概要: Targeted Error Correction in Knowledge Distillation: Small Language Models Surpass GPT

• arxiv url: http://arxiv.org/abs/2511.03005v1
• Date: Tue, 04 Nov 2025 21:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.25045
• Title: Targeted Error Correction in Knowledge Distillation: Small Language Models Surpass GPT
• Title（参考訳）: 知識蒸留におけるターゲット誤り訂正:小言語モデルがGPTを越える
• Authors: Hee-Jin Lee, Zhen Guo, Luchao Jin, Morteza Moazami Goudarzi,
• Abstract要約: 我々は、顧客サービス要約タスクにおいて、より小さなオープンソース言語モデル(LLM)がはるかに大きなプロプライエタリモデルを上回ることを可能にする、Analyze-Revise-Finetune (ARF)パイプラインを導入する。 パイプラインはまず、教師モデル(GPT-3.5)が生成する要約の一般的な誤りを分析し分類し、次いで、コンパクトエディタモデル(Llama 3.170B)を用いてターゲットリビジョンを行い、高品質で洗練された訓練データを生成する。 より小型の学生モデル(Llama 3.1 8B)を改良したデータを用いて微調整すると、GPT-3.5よりも優れた要約性能が得られる。
• 参考スコア（独自算出の注目度）: 9.303322147751908
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce an Analyze-Revise-Finetune (ARF) pipeline that enables smaller open-source language models (LLMs) to surpass substantially larger proprietary models in customer service summarization tasks. The pipeline first analyzes and categorizes common errors in summaries produced by a teacher model (GPT-3.5), then performs a targeted revision using a compact editor model (Llama 3.1 70B) to generate high-quality, refined training data. Fine-tuning a smaller student model (Llama 3.1 8B) on this refined data resulted in superior summarization performance compared to GPT-3.5. The ARF pipeline improves cost efficiency and data privacy while maintaining competitive accuracy, illustrating a generalizable framework for enhancing open-source LLMs across diverse downstream applications.
• Abstract（参考訳）: 我々は、顧客サービス要約タスクにおいて、より小さなオープンソース言語モデル(LLM)がはるかに大きなプロプライエタリモデルを上回ることを可能にする、Analyze-Revise-Finetune (ARF)パイプラインを導入する。 パイプラインはまず、教師モデル(GPT-3.5)が生成する要約の一般的なエラーを分析し分類し、次いで、コンパクトエディタモデル(Llama 3.170B)を用いてターゲットリビジョンを行い、高品質で洗練された訓練データを生成する。 より小型の学生モデル(Llama 3.1 8B)を改良したデータを用いて微調整すると、GPT-3.5よりも優れた要約性能が得られる。 ARFパイプラインは、競争精度を維持しながらコスト効率とデータのプライバシを改善し、さまざまなダウンストリームアプリケーションにわたるオープンソースのLLMを強化するための一般化可能なフレームワークを具体化している。

関連論文リスト

• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)
• Learning from Generalization Patterns: An Evaluation-Driven Approach to Enhanced Data Augmentation for Fine-Tuning Small Language Models [16.470481192733676]
  PaDA-Agentは、SLMのデータ拡張プロセスを合理化する評価駆動型アプローチである。 実験結果から,Llama 3.2 1Bインストラクトモデルファインタニングのための,最先端のLCMベースのデータ拡張手法に対する顕著な改善が示された。
  論文  参考訳（メタデータ） (2025-10-20T22:36:46Z)
• CustomIR: Unsupervised Fine-Tuning of Dense Embeddings for Known Document Corpora [0.0]
  CustomIRは、ドメイン固有のコーパスへの言語埋め込みモデルの教師なし適応のためのフレームワークである。 実験の結果、CustomIRはRecall@10の2.3ポイントまでの小さなモデルで検索効率を継続的に改善することがわかった。 これらの結果は、ターゲットとなる合成微調整が、ドメイン固有のパフォーマンスを高めるためのスケーラブルでコスト効率の高い戦略を提供することを示している。
  論文  参考訳（メタデータ） (2025-09-30T00:25:47Z)
• SeaPO: Strategic Error Amplification for Robust Preference Optimization of Large Language Models [25.689746306171276]
  大規模言語モデルで一般的に発生する3つのエラータイプを活用する戦略的誤り増幅手法であるSeaPOを紹介する。 その結果,SeaPOはモデル全体の性能を,特に真性の観点から著しく改善した。 最も一般的なエラータイプを注入すると、関連するタスクのパフォーマンスが向上する一方、エラータイプが混在すると、より広範なパフォーマンス向上につながる。
  論文  参考訳（メタデータ） (2025-09-29T13:42:41Z)
• Enhancement Report Approval Prediction: A Comparative Study of Large Language Models [10.243182983724585]
  拡張レポート(ER)は、ユーザと開発者の間の重要なコミュニケーションチャネルとして機能し、ソフトウェア改善のための貴重な提案を捉えます。 この課題に対処するために、研究の焦点として強化報告承認予測(ERAP)が登場している。 大規模言語モデル(LLM)の最近の進歩は、予測精度を向上する新たな機会を提供する。
  論文  参考訳（メタデータ） (2025-06-18T03:08:04Z)
• KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG [63.82127103851471]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデルがより広範な知識ソースにアクセスすることを可能にする。 ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。 本稿では,3つの重要なイノベーションを通じて知識利用を改善するKARE-RAGを提案する。
  論文  参考訳（メタデータ） (2025-06-03T06:31:17Z)
• Language Models are Few-Shot Graders [0.12289361708127876]
  我々は最先端のLCMを利用したASAGパイプラインを提案する。 GPT-4、GPT-4o、o1-previewの3つのOpenAIモデルのグレーディング性能を比較した。 以上の結果より,RAGによる選択はランダム選択よりも優れており,グレードドドサンプルを提供することでグレーディング精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-02-18T23:38:21Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。