論文の概要: Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution

• arxiv url: http://arxiv.org/abs/2606.13668v1
• Date: Thu, 11 Jun 2026 17:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.977551
• Title: Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution
• Title（参考訳）: インフルコーダ:データ属性のためのエンコーダにデコーダの勾配の影響ランク付けを蒸留する
• Authors: Dimitri Kachler, Damien Sileo, Pascal Denis,
• Abstract要約: データ属性法は、トレーニングデータセットのサンプルがどのようにモデルをプレコンディションして特定の出力を生成するかを推定する。 Influcoder という手法を,インフルエンサーに基づく大規模データ属性の迅速かつ費用対効果の高い手法として提案する。
• 参考スコア（独自算出の注目度）: 3.1857077981565793
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the growth of LLMs' (Large Language Models) capabilities, there has been an increasing push to curate high quality datasets by filtering samples in the training data. In general, Data Attribution (DA) methods aim to estimate how individual samples in a training dataset can precondition a model to generate certain outputs. As an example, one might be interested in which samples in the data could be the source of toxic behavior after training the LLM. Many methods quantify this conditioning through the paradigm of influence functions. While methods of this family are effective in its function, they lack the necessary processing speed and storage compactness to be practically implemented on large datasets. We propose a method, Influcoder, as a quick and cost-effective approach to influence-based Data Attribution at scale.
• Abstract（参考訳）: LLM(Large Language Models)機能の成長に伴い、トレーニングデータ中のサンプルをフィルタリングすることで、高品質なデータセットをキュレートする動きが高まっている。 一般に、データ属性(DA)手法は、トレーニングデータセット内の個々のサンプルが、特定の出力を生成するためにモデルに事前条件を付けることができるかを推定することを目的としている。 例えば、LSMを訓練した後、どのサンプルが有害な行動の原因になるかに興味があるかもしれない。 多くの手法が影響関数のパラダイムを通じてこの条件を定量化している。 このファミリーの手法はその機能に有効であるが、大規模なデータセットで実際に実装するために必要な処理速度とストレージのコンパクトさは欠如している。 Influcoder という手法を,インフルエンサーに基づく大規模データ属性の迅速かつ費用対効果の高い手法として提案する。

関連論文リスト

• An Empirical Study on Influence-Based Pretraining Data Selection for Code Large Language Models [30.70386124413396]
  本稿では,プログラム関連データセットのコンテキストにおけるデータ影響スコアフィルタリングの有効性について検討する。 私たちは、1000億のコードトークンのデータセットで、スクラッチから10億のパラメータを持つCode-LLMを事前トレーニングします。 この結果から,検証-集合-ロスに基づくデータ影響スコアフィルタリングにより,モデルプログラミング性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-04-09T03:48:11Z)
• Efficient Data Selection at Scale via Influence Distillation [53.03573620682107]
  本稿では,データ選択のための数学的に修飾されたフレームワークであるインフルエンス蒸留を紹介する。 対象分布に対する各試料の影響を蒸留することにより,トレーニングデータの選択に使用されるモデル固有の重みを割り当てる。 実験の結果、蒸留の影響は最先端のパフォーマンスに匹敵し、最大3.5タイムの高速選択を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-25T09:08:00Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Measuring Sample Importance in Data Pruning for Language Models based on Information Entropy [4.079147243688765]
  本稿では,情報エントロピーに基づくデータプルーニング手法を提案する。 トレーニングコーパスのサンプルを,その情報性の観点からランク付けすることを提案する。 実験の結果,提案した情報に基づくプルーニングは,様々な言語モデリングや下流タスクを改善することができることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T09:09:34Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models [31.65198592956842]
  本稿では,大規模生成AIモデルに有効な効率的な影響近似手法であるDataInfを提案する。 理論的解析により,DataInfはLoRAのようなパラメータ効率のよい微調整技術に特に適していることが示された。 RoBERTa-large、Llama-2-13B-chat、stable-diffusion-v1.5モデルへの適用において、DataInfは、他の近似影響スコアよりも、最も影響力のある微調整例を効果的に識別する。
  論文  参考訳（メタデータ） (2023-10-02T04:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。