論文の概要: Balancing Synthetic Data and Replay for Enhancing Task-Specific Capabilities

• arxiv url: http://arxiv.org/abs/2510.11842v1
• Date: Mon, 13 Oct 2025 18:51:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.06688
• Title: Balancing Synthetic Data and Replay for Enhancing Task-Specific Capabilities
• Title（参考訳）: タスク特化能力向上のための合成データのバランシングとリプレイ
• Authors: Urs Spiegelhalter, Jörg K. H. Franke, Frank Hutter,
• Abstract要約: 本稿では,新しいタスクに言語モデルを適用する際のリプレイ比構成と計算予算の相互作用について検討する。 実験では、タスク固有のパフォーマンスと一般的な知識の保持のバランスをとる最適な構成が示される。
• 参考スコア（独自算出の注目度）: 45.609070591068836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting language models to new tasks through continued pretraining faces a fundamental trade-off: models must learn new capabilities while avoiding catastrophic forgetting of existing knowledge. While prior work has studied synthetic data generation techniques, the optimal replay ratios for balancing task performance and knowledge retention under computational constraints remain poorly understood. We present a comprehensive empirical study investigating the interplay between replay ratio configuration and computational budget when adapting language models to new tasks. Using the bAbI reasoning tasks as our target objective, we apply synthetic data generation and systematically evaluate different total token budgets and replay ratio configurations. We analyze their effects on both task mastery and general knowledge retention. Our experiments reveal an optimal configuration that balances task-specific performance with general knowledge retention. Based on our findings, we provide empirically-grounded guidelines for selecting replay ratios based on computational budget, enabling practitioners to achieve strong task adaptation with significantly reduced training costs.
• Abstract（参考訳）: 言語モデルを継続的な事前訓練を通じて新しいタスクに適用することは、基本的なトレードオフに直面します。 先行研究は合成データ生成技術について研究してきたが、タスク性能と計算制約下での知識保持のバランスをとるための最適リプレイ比はよく分かっていない。 本稿では,新しいタスクに言語モデルを適用する際のリプレイ比構成と計算予算との相互作用を総合的に検討する。 bAbI推論タスクを目的とし、合成データ生成を適用し、異なる全トークン予算と再生比構成を体系的に評価する。 課題熟達と一般知識保持の両方に影響を及ぼす影響を解析する。 本実験では,タスク固有性能と一般知識保持のバランスをとる最適構成を明らかにした。 本研究は,計算予算に基づいてリプレイ率を選択するための実証的なガイドラインを提示し,実践者がトレーニングコストを大幅に削減して,強いタスク適応を達成できるようにする。

関連論文リスト

• DATA: Decomposed Attention-based Task Adaptation for Rehearsal-Free Continual Learning [22.386864304549285]
  大規模言語モデル(LLM)では、継続的な学習(CL)が現実の要求に適応するために不可欠である。 近年のリハーサルフリー手法では、モデルベースおよび正規化ベースの戦略を用いてこの問題に対処している。 我々は、$textbfD$e $textbfA$ttention-based $textbfTask $textbfA$daptation ( data)を提案する。 データは、ハイランクなタスクアダプタとローランクなタスクアダプタを使用して、タスク固有の知識とタスク共有の知識を明示的に分離し、学習する。
  論文  参考訳（メタデータ） (2025-02-17T06:35:42Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Collaborative Optimization in Financial Data Mining Through Deep Learning and ResNeXt [4.047576220541502]
  本研究ではResNeXtに基づくマルチタスク学習フレームワークを提案する。 提案手法は精度,F1スコア,ルート平均二乗誤差,その他の指標において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-23T06:14:15Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。