論文の概要: From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.25167v1
• Date: Tue, 28 Apr 2026 03:16:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.692131
• Title: From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models
• Title（参考訳）: InsightからActionへ:大規模言語モデルにおける解釈可能性に基づくデータ選択のための新しいフレームワーク
• Abstract要約: Interpretability-Guided Data Selection (IGDS) は、まず周波数リコールと干渉フィルタリングによって因果タスクの特徴を識別するフレームワークである。 我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。
• 参考スコア（独自算出の注目度）: 73.72877445629383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While mechanistic interpretability tools like Sparse Autoencoders (SAEs) can uncover meaningful features within Large Language Models (LLMs), a critical gap remains in transforming these insights into practical actions for model optimization. We bridge this gap with the hypothesis that data selection guided by a model's internal task features is a effective training strategy. Inspired by this, we propose Interpretability-Guided Data Selection (IGDS), a framework that first identifies these causal task features through frequency recall and interventional filtering, then selects ``Feature-Resonant Data'' that maximally activates task features for fine-tuning. We validate IGDS on mathematical reasoning, summarization, and translation tasks within Gemma-2, LLaMA-3.1, and Qwen3 models. Our experiments demonstrate exceptional data efficiency: on the Math task, IGDS surpasses full-dataset fine-tuning by a remarkable 17.4% on Gemma-2-2B while using only 50% of the data, and outperforms established baselines focused on data quality and diversity. Analysis confirms a strong positive correlation between feature amplification and task performance improvement. IGDS thus provides a direct and effective framework to enhance LLMs by leveraging their internal mechanisms, validating our core hypothesis.
• Abstract（参考訳）: Sparse Autoencoders (SAEs)のような機械的解釈可能性ツールは、Large Language Models (LLMs)内で有意義な特徴を明らかにすることができるが、これらの洞察をモデル最適化のための実践的なアクションに変換する上で重要なギャップは残る。 このギャップを、モデルの内部タスク特徴によって導かれるデータ選択が効果的なトレーニング戦略であるという仮説で埋める。 そこで我々は,まず,これらの因果的タスクの特徴を周波数リコールと干渉フィルタリングによって識別するフレームワークである Interpretability-Guided Data Selection (IGDS) を提案し,次に,微調整のためのタスク機能を最大限に活性化する ``Feature-Resonant Data'' を選択する。 我々は,数学的推論,要約,翻訳タスクに関するIGDSをGemma-2,LLaMA-3.1,Qwen3モデルで検証する。 実験では,データ品質と多様性に焦点をあてた定評あるベースラインをわずか50%使用しながら,全データセットの微調整をGemma-2-2Bで17.4%上回った。 分析は、特徴増幅とタスクパフォーマンス改善の強い正の相関を裏付ける。 IGDSは、内部メカニズムを活用し、コア仮説を検証することでLCMを強化するための、直接的で効果的なフレームワークを提供する。

関連論文リスト

• Benchmarking Embedding Models for ESG Data [0.5708902722746041]
  埋め込みモデルは、非構造化ESGテキストを数値表現に変換するための強力なアプローチとして登場した。 我々は、オープンソースとクローズドソースの埋め込みモデルの両方で14のモデルをベンチマークし、検索と検索のパフォーマンスを比較し、Retrieval-Augmented Generation (RAG) を比較した。 結果は、Qwen3ベースのモデルが全体的なパフォーマンスを最高に達成している、さまざまなモデルのパフォーマンスのバリエーションを示している。
  論文  参考訳（メタデータ） (2026-09-14T11:59:58Z)
• Neuron-Aware Data Selection In Instruction Tuning For Large Language Models [69.08560711834848]
  インストラクションチューニング(IT)は、大規模言語モデル(LLM)の強力な能力を解放するための効果的なアプローチであることが証明されている。 近年の研究では、過剰なITデータがLCMのパフォーマンスを低下させる可能性がある一方で、高品質なITデータの小さなサブセットを慎重に選択することで、その能力を著しく向上させることができることが示されている。 我々はNAITと呼ばれる新しい効率的なフレームワークを提案し、ITデータセットから最も効率的なサブセットデータを特定する。
  論文  参考訳（メタデータ） (2026-03-13T17:39:03Z)
• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• Improving Large Language Model Planning with Action Sequence Similarity [50.52049888490524]
  本研究では,インコンテキスト学習(ICL)によるモデル計画能力の向上について検討する。 GRASE-DC は2段階のパイプラインで,まず高効率のAS例を再サンプリングし,選択した例をキュレートする。 実験の結果,GRASE-DCは様々な計画タスクにおいて大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-02T05:16:17Z)
• Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study [11.452011929848844]
  本研究では,マルチタスク最適化を支援するメタサロゲートフレームワークを提案する。 問題群に適合するメタデータを持つ普遍モデルを定義することにより、多タスクフィットネス予測のための統一的なフレームワークを定式化する。 我々のフレームワークは、双対レベルの知識伝達 -- 代理レベルと個別レベルの両方 -- をサポートし、最適化の効率性と堅牢性を高めます。
  論文  参考訳（メタデータ） (2025-03-11T11:13:11Z)
• TL-Training: A Task-Feature-Based Framework for Training Large Language Models in Tool Use [72.32614703504122]
  大規模言語モデル(LLM)は、環境と対話するツールを活用することで、目覚ましい進歩を遂げる。 大規模なデータセットに依存する標準教師付き微調整アプローチでは、ツール使用時のタスク固有の特性を見落としていることが多い。 本稿では,最適下トレーニングデータの効果を緩和するタスク機能ベースのフレームワークであるTL-Trainingを提案する。
  論文  参考訳（メタデータ） (2024-12-20T02:21:36Z)
• Agent Skill Acquisition for Large Language Models via CycleQD [2.749898166276853]
  CycleQDはアルゴリズムの循環的適応を通じて品質多様性フレームワークを活用する新しいアプローチである。 各タスクのパフォーマンス指標は品質指標として交換され、他のタスクは行動特性として機能する。 CycleQD を LLAMA3-8B-INSTRUCT ベースのモデルに適用することで、コーディング、オペレーティングシステム、データベースタスクにおける従来の微調整手法を超越するだけでなく、GPT-3.5-TURBO と同等のパフォーマンスを達成できる。
  論文  参考訳（メタデータ） (2024-10-16T20:27:15Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Improving the Performance of Fine-Grain Image Classifiers via Generative Data Augmentation [0.5161531917413706]
  我々は、ロバスト生成アドリアルネットワーク(DAPPER GAN)の熟練した事前学習からデータ拡張を開発する。 DAPPER GANは、トレーニングイメージの新しいビューを自動的に生成するML分析支援ツールである。 本手法をStanford Carsデータセット上で実験的に評価し,車体形状とモデル分類精度の向上を実証した。
  論文  参考訳（メタデータ） (2020-08-12T15:29:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。