論文の概要: Guiding LLM Post-training Data Engineering with Model Internals from Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2605.27354v1
- Date: Tue, 26 May 2026 17:55:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-27 17:51:42.582864
- Title: Guiding LLM Post-training Data Engineering with Model Internals from Sparse Autoencoders
- Title（参考訳）: スパースオートエンコーダのモデル内部を用いたLLM後トレーニングデータエンジニアリングの誘導
- Authors: Yi Jing, Zao Dai, Jinwu Hu, Zijun Yao, Lei Hou, Juanzi Li, Xiaozhi Wang,
- Abstract要約: トレーニング後のデータエンジニアリングは外部信号に大きく依存しており、モデル内部にある豊富な固有信号を無視している。
強化学習のためのデータエンジニアリングフレームワークSAERLを提案する。
Sparse Autoencoder(SAE)によって抽出されたモデル内部を使用して、多様性、難易度、品質の3つの固有のデータ特性をモデル化する。
- 参考スコア（独自算出の注目度）: 49.87696007629591
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model internals encode rich information about how a large language model (LLM) processes its training data; however, post-training data engineering largely relies on external signals and ignores rich intrinsic signals lying in model internals. We propose SAERL, a data engineering framework for LLM reinforcement learning (RL). It models three intrinsic data properties: diversity, difficulty, and quality, using model internals extracted with Sparse Autoencoder (SAE), an advanced mechanistic interpretability tool. Each property grounds a concrete data engineering operation: SAE-space clustering with moderate batch mixing for batch diversity control, a difficulty proxy for easy-to-hard curriculum ordering, and a quality probe for data filtering. SAERL improves average accuracy by 3.00% over vanilla GRPO and reaches target accuracy with 20% fewer training steps on Qwen2.5-Math-1.5B, with consistent gains across model scales and RL algorithms. Experiments show that SAE transfers effectively across model families and scales, serving as a lightweight and reusable data engineering tool. These results demonstrate that model internals are a powerful and practical source of signals for post-training data engineering.
- Abstract（参考訳）: モデル内部は、大規模言語モデル(LLM)がそのトレーニングデータをどのように処理するかについての豊富な情報をエンコードするが、トレーニング後のデータ工学は、外部信号に大きく依存し、モデル内部に存在する豊富な固有信号を無視している。
LLM強化学習(RL)のためのデータエンジニアリングフレームワークであるSAERLを提案する。
Sparse Autoencoder(SAE)によって抽出されたモデル内部を使用して、多様性、難易度、品質の3つの固有のデータ特性をモデル化する。
SAE-space clustering with moderate batch mix for batch diversity control, a difficulty proxy for easy-to-hard program ordering, and a quality probe for data filtering。
SAERLはバニラGRPOよりも平均精度を3.00%向上し、Qwen2.5-Math-1.5Bでのトレーニングステップを20%削減して目標精度に達する。
実験によると、SAEはモデルファミリとスケールで効果的に転送され、軽量で再利用可能なデータエンジニアリングツールとして機能する。
これらの結果から,モデル内部は学習後のデータ工学における強力な信号源であることが示された。
関連論文リスト
- Learning from Less: Measuring the Effectiveness of RLVR in Low Data and Compute Regimes [18.00712219143378]
微調整の大規模言語モデル(LLM)は、典型的には大量の高品質な注釈付きデータ、あるいは明確に定義された真実の答えを持つ質問に依存している。
従来の研究は、RLVR(Reinforcement Learning with Verifiable Rewards)で使用されるデータと計算の両方をスケールすることで、推論能力をモデル化するメリットを探求してきた。
本稿では、RLVR以降の低データ環境におけるオープンソースのSmall Language Model (SLM) の性能に関する総合的研究について述べる。
論文 参考訳（メタデータ） (2026-04-20T15:04:57Z) - DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models [51.48564522455171]
LLaMA-Factory上に構築されたデータ中心の動的トレーニングフレームワークであるDataFlexを紹介します。
DataFlexは、サンプル選択、ドメイン混合調整調整、データ再重み付けという、動的なデータ最適化の3つの主要なパラダイムをサポートします。
トレーナーの抽象化とモジュールコンポーネントを提供し、標準のLLMトレーニングをドロップインで置き換えることを可能にする。
論文 参考訳（メタデータ） (2026-03-27T08:28:02Z) - LoopTool: Closing the Data-Training Loop for Robust LLM Tool Calls [46.34510189812439]
LoopToolは、完全に自動化され、モデル対応のデータ進化フレームワークである。
3つの相乗的モジュールを通して、データとモデルを反復的に洗練する。
実験によると、LoopToolでトレーニングした8Bモデルは、32Bデータジェネレータを大幅に上回っている。
論文 参考訳（メタデータ） (2025-11-12T09:34:39Z) - Evaluating Language Models as Synthetic Data Generators [99.16334775127875]
AgoraBenchは、LMのデータ生成能力を評価するための標準化された設定とメトリクスを提供するベンチマークである。
6つのLMを使って126万のトレーニングインスタンスを合成し、99の学生モデルをトレーニングすることで、LMのデータ生成能力に関する重要な洞察を明らかにする。
論文 参考訳（メタデータ） (2024-12-04T19:20:32Z) - Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。
本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文 参考訳（メタデータ） (2024-10-22T06:43:28Z) - When More Data Hurts: Optimizing Data Coverage While Mitigating Diversity Induced Underfitting in an Ultra-Fast Machine-Learned Potential [0.0]
本研究では,学習データの多様性が機械学習型原子間ポテンシャル(MLIP)の性能に与える影響について検討する。
専門家と自律的に生成されたデータを使って、トレーニングデータを作成し、4つのフォースフィールドの変種をデータのサブセットに適合させる。
多様性不足は一般化を妨げるが,過度の多様性はMLIPの学習能力を超えうる。
論文 参考訳（メタデータ） (2024-09-11T20:45:44Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳（メタデータ） (2023-08-23T09:45:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。