論文の概要: Follow the Features: SAE Feature-Guided Data-Efficient Instruction-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2611.04085v1
• Date: Mon, 02 Nov 2026 23:50:56 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:46:39.37736
• Title: Follow the Features: SAE Feature-Guided Data-Efficient Instruction-Tuning of Large Language Models
• Title（参考訳）: SAE特徴ガイドによる大規模言語モデルの効率的なインストラクションチューニング
• Abstract要約: Follow the Features (FtF)は、スパースオートエンコーダ(SAE)機能を使用してトレーニングデータを特徴付けるデータ選択手法である。 FtFはデータセットレベルのアクティベーション統計を使用して特徴をランク付けし、高度にランク付けされた特徴を表現してサンプルをスコア付けし、多様性を促進するために機能再サンプリングを取り入れている。 また,FtFを2つのモデルデータセット上で,256トークンの固定シーケンス長を持つ100サンプルのトレーニング予算で評価した。
• 参考スコア（独自算出の注目度）: 2.4851388650413866
• License:
• Abstract: Selecting small, effective instruction-tuning datasets requires identifying which aspects of the original data to retain. We introduce Follow the Features (FtF), a data-selection method that uses sparse autoencoder (SAE) features to characterize training data and guide subset construction. FtF ranks features using dataset-level activation statistics, scores samples by their expression of highly ranked features, and incorporates feature resampling to encourage diversity. The LLM-SAE pair used for selection is independent of the model being fine-tuned, enabling reuse across target models. We evaluate FtF on two model-dataset settings at a training budget of 100 samples with a fixed sequence length of 256 tokens. FtF achieves performance competitive with GRAPE and S2L, with relative rankings varying across settings. On Qwen 3 8B trained on Alpaca, FtF exceeds full-dataset training by 1.59 percentage points in the harmonic mean of an AlpacaEval-based win rate and Open LLM Leaderboard performance, although full-dataset training retains a higher Leaderboard score. These results support SAE feature statistics as a useful signal for data-efficient instruction tuning.
• Abstract（参考訳）: 小さな効果的な命令チューニングデータセットを選択するには、元のデータのどの側面を保持するかを特定する必要がある。 本稿では、スパースオートエンコーダ(SAE)機能を用いたデータ選択手法であるFollow the Features(FtF)を紹介し、トレーニングデータの特徴付けとサブセット構築のガイドを行う。 FtFはデータセットレベルのアクティベーション統計を使用して特徴をランク付けし、高度にランク付けされた特徴を表現してサンプルをスコア付けし、多様性を促進するために機能再サンプリングを取り入れている。 選択に使用されるLLM-SAEペアは、微調整されたモデルとは独立であり、ターゲットモデル間の再利用を可能にする。 また,FtFを2つのモデルデータセット上で,256トークンの固定シーケンス長を持つ100サンプルのトレーニング予算で評価した。 FtFはGRAPEやS2Lと競合し、相対ランクは設定によって異なる。 アルパカでトレーニングを受けたQwen 3 8Bでは、FtFはAlpacaEvalベースの勝利率とオープンLLMリーダーボードのパフォーマンスのハーモニック平均で1.59ポイントのフルデータセットトレーニングを上回っているが、フルデータセットトレーニングは高いスコアを維持している。 これらの結果は、データ効率の調整に有用な信号として、SAE特徴統計をサポートする。

関連論文リスト

• Faithful and Fast Influence Function via Advanced Sampling [10.773767694482858]
  特徴量とロジットに基づく2つの高度なサンプリング手法を提案する。 これらのサンプルは、機能やログの分布を考慮して、データセット全体の小さいが代表的なサブセットを選択する。 モデルがいかに効率的にクラスを忘れるかを測定するためにF1スコアを用いて、クラス除去実験を通じてアプローチを検証する。
  論文  参考訳（メタデータ） (2025-10-30T17:55:19Z)
• T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning [5.963754140027611]
  Token-Selective HIeRarchical Data Selection for Instruction Tuning (T-SHIRT)は、新しいデータ選択フレームワークである。 我々は、キュレートされたデータセットでチューニングされたモデルが、大規模データセット全体においてトレーニングされたモデルよりも優れていることを実証した。
  論文  参考訳（メタデータ） (2025-06-02T04:59:17Z)
• Aligning Instruction Tuning with Pre-training [61.50161961371844]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Low-resource classification of mobility functioning information in clinical sentences using large language models [0.0]
  本研究は,臨床ノートから機能的情報の存在を正確に識別する,公開可能な大規模言語モデル(LLM)の能力を評価するものである。 我々は,n2c2臨床ノートから算出したモビリティNERデータセットから,1000文のバランスの取れたバイナリ分類データセットを収集した。
  論文  参考訳（メタデータ） (2023-12-15T20:59:17Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。