論文の概要: Learning from Generalization Patterns: An Evaluation-Driven Approach to Enhanced Data Augmentation for Fine-Tuning Small Language Models

• arxiv url: http://arxiv.org/abs/2510.18143v1
• Date: Mon, 20 Oct 2025 22:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.649944
• Title: Learning from Generalization Patterns: An Evaluation-Driven Approach to Enhanced Data Augmentation for Fine-Tuning Small Language Models
• Title（参考訳）: 一般化パターンから学ぶ:細調整された小言語モデルのためのデータ拡張のための評価駆動アプローチ
• Authors: Huan Song, Deeksha Razdan, Yiyue Qian, Arijit Ghosh Chowdhury, Parth Patwa, Aman Chadha, Shinan Zhang, Sharlina Keshava, Hannah Marlowe,
• Abstract要約: PaDA-Agentは、SLMのデータ拡張プロセスを合理化する評価駆動型アプローチである。 実験結果から,Llama 3.2 1Bインストラクトモデルファインタニングのための,最先端のLCMベースのデータ拡張手法に対する顕著な改善が示された。
• 参考スコア（独自算出の注目度）: 16.470481192733676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small Language Models (SLMs) offer compelling advantages in deployment cost and latency, but their accuracy often lags behind larger models, particularly for complex domain-specific tasks. While supervised fine-tuning can help bridge this performance gap, it requires substantial manual effort in data preparation and iterative optimization. We present PaDA-Agent (Pattern-guided Data Augmentation Agent), an evaluation-driven approach that streamlines the data augmentation process for SLMs through coordinated operations. Unlike state-of-the-art approaches that focus on model training errors only and generating error-correcting samples, PaDA-Agent discovers failure patterns from the validation data via evaluations and drafts targeted data augmentation strategies aiming to directly reduce the generalization gap. Our experimental results demonstrate significant improvements over state-of-the-art LLM-based data augmentation approaches for Llama 3.2 1B Instruct model fine-tuning.
• Abstract（参考訳）: SLM(Small Language Models)は、デプロイメントコストとレイテンシにおいて、強力なアドバンテージを提供するが、その正確さは、特に複雑なドメイン固有のタスクにおいて、より大きなモデルよりも遅れることが多い。 教師付き微調整は、このパフォーマンスギャップを埋めるのに役立つが、データ準備と反復最適化にかなりの手作業が必要になる。 本稿では,協調操作によるSLMのデータ拡張プロセスを効率化する評価駆動型手法PaDA-Agent(Pattern-Guided Data Augmentation Agent)を提案する。 モデルトレーニングエラーのみに注目し、エラー訂正サンプルを生成する最先端のアプローチとは異なり、PaDA-Agentは、評価とドラフトを通じて検証データから障害パターンを発見し、一般化ギャップを直接削減することを目的としたデータ拡張戦略を目標とする。 実験結果から,Llama 3.2 1Bインストラクトモデルファインタニングのための,最先端のLCMベースのデータ拡張手法に対する顕著な改善が示された。

関連論文リスト

• EpiCoDe: Boosting Model Performance Beyond Training with Extrapolation and Contrastive Decoding [50.29046178980637]
  EpiCoDeは、余分なトレーニングなしでデータスカシティシナリオにおけるモデルパフォーマンスを向上させる方法である。 EpiCoDeは、既存のメソッドよりも大幅に、堅牢に改善されていることを示す。
  論文  参考訳（メタデータ） (2025-06-04T02:11:54Z)
• PEER pressure: Model-to-Model Regularization for Single Source Domain Generalization [12.15086255236961]
  対象領域におけるこのような拡張に基づく手法の性能は、訓練中に普遍的に変動することを示す。 本稿では,新しい一般化法を提案する。 Space Ensemble with Entropy Regularization (PEER) – プロキシモデルを使用して、拡張データを学ぶ。
  論文  参考訳（メタデータ） (2025-05-19T06:01:11Z)
• DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning [22.704995231753397]
  大規模言語モデル(LLM)のアドホック命令の微調整は、ドメイン固有の適応に広く採用されている。 本研究では,軽量なモデル固有データ解析手法であるDONODを提案する。 データセット全体の70%をフィルタリングすることで、ターゲットドメインの精度を14.90%、クロスドメインの精度を5.67%向上させる。
  論文  参考訳（メタデータ） (2025-04-21T02:25:03Z)
• Curriculum-style Data Augmentation for LLM-based Metaphor Detection [7.4594050203808395]
  オープンソースLLMの微調整によるメタファ検出手法を提案する。 本手法は,すべてのベースラインにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T02:05:21Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Enhancing Few-Shot Learning with Integrated Data and GAN Model Approaches [35.431340001608476]
  本稿では,データ拡張とモデルファインチューニングを融合することで,少数ショット学習を向上するための革新的なアプローチを提案する。 薬物発見、ターゲット認識、悪意のあるトラフィック検出などの分野で、小さなサンプルデータによって引き起こされる課題に対処することを目的としている。 その結果,本研究で開発されたMhERGANアルゴリズムは,数発の学習に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-11-25T16:51:11Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。