Fugu-MT 論文翻訳(概要): ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning

論文の概要: ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning

arxiv url: http://arxiv.org/abs/2510.18250v1
Date: Tue, 21 Oct 2025 03:21:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 03:08:12.833499
Title: ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning
Title（参考訳）: ssToken:LLMファインチューニングのための自己変調型セマンティック対応型トークン選択
Authors: Xiaohan Qin, Xiaoxing Wang, Ning Liao, Cancheng Zhang, Xiangdong Zhang, Mingquan Feng, Jingzhi Wang, Junchi Yan,
Abstract要約: ssTokenは自己変調されたセマンティックなToken Selectionアプローチである。自己変調の選択とセマンティック・アウェアの選択の両方が、フルデータの微調整よりも優れていることを示す。
参考スコア（独自算出の注目度）: 51.133569963553576
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Data quality plays a critical role in enhancing supervised fine-tuning (SFT) for large language models (LLMs), and token-level data selection has emerged as a promising direction for its fine-grained nature. Despite their strong empirical performance, existing token-level selection methods share two key limitations: (1) requiring training or accessing an additional reference model, and (2) relying solely on loss information for token selection, which cannot well preserve semantically important tokens that are not favored by loss-based metrics. To address these challenges, we propose ssToken, a Self-modulated and Semantic-aware Token Selection approach. ssToken leverages readily accessible history models to compute the per-token loss difference with the current model, which serves as a self-modulated signal that enables the model to adaptively select tokens along its optimization trajectory, rather than relying on excess loss from an offline-trained reference model as in prior works. We further introduce a semantic-aware, attention-based token importance estimation metric, orthogonal to loss-based selection and providing complementary semantic information for more effective filtering. Extensive experiments across different model families and scales demonstrate that both self-modulated selection and semantic-aware selection alone outperform full-data fine-tuning, while their integration--ssToken--achieves synergistic gains and further surpasses prior token-level selection methods, delivering performance improvements while maintaining training efficiency.
Abstract（参考訳）: データ品質は、大規模言語モデル(LLM)の教師付き微調整(SFT)を強化する上で重要な役割を担い、トークンレベルのデータ選択は、その微細な性質にとって有望な方向として現れてきた。その強力な経験的性能にもかかわらず、既存のトークンレベルの選択方法は、(1)トレーニングや追加参照モデルへのアクセスを必要とすること、(2)トークン選択の損失情報のみに依存すること、そして(2)損失ベースのメトリクスに好まれない意味的に重要なトークンを適切に保存できないこと、の2つの重要な制限を共有している。これらの課題に対処するため,我々は自己変調型セマンティックなトークン選択手法であるssTokenを提案する。 ssTokenは、オフラインでトレーニングされた参照モデルからの余分な損失に頼るのではなく、最適化軌道に沿ってトークンを適応的に選択できる自己変調信号として機能する。さらに、意味認識、注意に基づくトークン重要度推定基準、損失に基づく選択への直交、より効果的なフィルタリングのための補完的な意味情報を提供する。さまざまなモデルファミリやスケールにわたる大規模な実験により、自己修飾の選択とセマンティックアウェアの選択は、フルデータの微調整よりも優れており、その統合-ssToken-は相乗的ゲインを達成し、従来のトークンレベルの選択方法をさらに超え、トレーニング効率を維持しながらパフォーマンスの向上を提供する。

論文の概要: ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning

関連論文リスト