Fugu-MT 論文翻訳(概要): Efficient Estimation of Kernel Surrogate Models for Task Attribution

論文の概要: Efficient Estimation of Kernel Surrogate Models for Task Attribution

arxiv url: http://arxiv.org/abs/2602.03783v1
Date: Tue, 03 Feb 2026 17:43:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-04 18:37:15.612111
Title: Efficient Estimation of Kernel Surrogate Models for Task Attribution
Title（参考訳）: タスク属性に対するカーネルサロゲートモデルの効率的な推定法
Authors: Zhenshuo Zhang, Minxuan Duan, Hongyang R. Zhang,
Abstract要約: 主な課題は、個々のトレーニングタスクがターゲットタスクのパフォーマンスにどのように影響するかを定量化することである。直接的アプローチ、つまり、アウト・ワン・アウト・リトレーニングは、各タスクを削除する効果を計測するが、大規模に計算不可能である。トレーニングタスクのサブセットに対して、ターゲットタスクのパフォーマンスを予測するために代理モデルを構築する別のアプローチが登場した。
参考スコア（独自算出の注目度）: 9.290757451344673
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Modern AI agents such as large language models are trained on diverse tasks -- translation, code generation, mathematical reasoning, and text prediction -- simultaneously. A key question is to quantify how each individual training task influences performance on a target task, a problem we refer to as task attribution. The direct approach, leave-one-out retraining, measures the effect of removing each task, but is computationally infeasible at scale. An alternative approach that builds surrogate models to predict a target task's performance for any subset of training tasks has emerged in recent literature. Prior work focuses on linear surrogate models, which capture first-order relationships, but miss nonlinear interactions such as synergy, antagonism, or XOR-type effects. In this paper, we first consider a unified task weighting framework for analyzing task attribution methods, and show a new connection between linear surrogate models and influence functions through a second-order analysis. Then, we introduce kernel surrogate models, which more effectively represent second-order task interactions. To efficiently learn the kernel surrogate, we develop a gradient-based estimation procedure that leverages a first-order approximation of pretrained models; empirically, this yields accurate estimates with less than $2\%$ relative error without repeated retraining. Experiments across multiple domains -- including math reasoning in transformers, in-context learning, and multi-objective reinforcement learning -- demonstrate the effectiveness of kernel surrogate models. They achieve a $25\%$ higher correlation with the leave-one-out ground truth than linear surrogates and influence-function baselines. When used for downstream task selection, kernel surrogate models yield a $40\%$ improvement in demonstration selection for in-context learning and multi-objective reinforcement learning benchmarks.
Abstract（参考訳）: 大規模言語モデルのような現代のAIエージェントは、翻訳、コード生成、数学的推論、テキスト予測など、さまざまなタスクを同時にトレーニングする。重要な疑問は、個々のトレーニングタスクが目標タスクのパフォーマンスにどのように影響するかを定量化することです。直接的アプローチ、つまり、アウト・ワン・アウト・リトレーニングは、各タスクを削除する効果を計測するが、大規模に計算不可能である。トレーニングタスクのサブセットに対して、ターゲットタスクのパフォーマンスを予測するために代理モデルを構築する別のアプローチが、最近の文献に現れている。以前の研究は、一階関係を捉える線形代理モデルに焦点が当てられていたが、シナジー、アンタゴニティ、XOR型効果といった非線形相互作用を見逃している。本稿ではまず,タスク帰属分析のための統一的なタスク重み付けフレームワークについて検討し,2次解析による線形代理モデルと影響関数の新たな関連性を示す。次に,2次タスク相互作用をより効果的に表現するカーネルサロゲートモデルを提案する。カーネルサロゲートを効率よく学習するために,事前学習したモデルの1次近似を利用する勾配に基づく推定手法を開発した。変圧器の数学推論、文脈内学習、多目的強化学習など、複数の領域にわたる実験は、カーネルサロゲートモデルの有効性を実証している。線形サロゲートやインフルエンス関数のベースラインよりも、アウト・ワン・グラウンドの真理と高い相関性が得られる。ダウンストリームタスク選択に使用する場合、カーネルサロゲートモデルは、インコンテキスト学習と多目的強化学習ベンチマークのためのデモ選択を40 %$で改善する。

論文の概要: Efficient Estimation of Kernel Surrogate Models for Task Attribution

関連論文リスト