論文の概要: Influence Is the Target-Response Jacobian Times Residuals

• arxiv url: http://arxiv.org/abs/2610.27689v1
• Date: Tue, 20 Oct 2026 06:04:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.66728
• Title: Influence Is the Target-Response Jacobian Times Residuals
• Title（参考訳）: ターゲット応答ジャコビアン時間残差の影響
• Abstract要約: 本稿では,目標応答ヤコビアン$J = [partial hat y_i/partial y_j]$を紹介した。 サンプルウェイトの影響である$mathcalI$と$J$は、同じ暗黙差分論から導かれ、例ごとの乗算器によってのみ異なることを示す。 どちらのオペレータも、ターゲットの摂動にまたがる予測当たりのR2$のリフィットに対してスコアを付けるが、再スケーリングは行わない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the target-response Jacobian $J = [\partial \hat y_i/\partial y_j]$, which measures how model predictions respond to changes in individual training targets. $J$ complements training-data attribution (TDA) methods, which characterize sensitivity to the weights placed on training observations in the loss rather than to their targets, and can be computed matrix-free at the same cost as influence-based TDA methods. We show that sample-weight influence $\mathcal{I}$ and $J$ follow from the same implicit differentiation argument and differ only by a per-example multiplier: for pointwise losses, $\mathcal{I} = J\operatorname{diag}(m)$ exactly at any stationary point with an invertible Hessian. For canonical-link losses (squared error, logistic, Poisson) the multiplier is the training residual, $\mathcal{I} = J\operatorname{diag}(r)$, and softmax cross-entropy obeys a multiclass version. The identity predicts three ways in which influence fails when used in place of $J$: small residuals shrink its predicted shift towards zero (interpolation collapse), residuals of mixed sign wash out its direction (direction washout), and under softmax cross-entropy it collapses a training point's per-class sensitivities towards its own true class (true-class collapse). We score both operators against refitting with a per-prediction $R^2$ across target perturbations, with no rescaling. On tanh networks trained with squared error (Friedman #1) and logistic loss (MAGIC, HIGGS), with $N$ from 2,000 to $10^6$, $J$ reaches $R^2$ between 0.99 and 1.00, whereas influence's $R^2$ is negative on every dataset. On an MNIST softmax classifier, influence's $R^2$ is again negative, while $J$ reaches 0.92. On HIGGS, one row of $J$, holding all $10^6$ sensitivities of one prediction, takes under 0.2 seconds on an RTX 3090 after a one-time setup of under five minutes, whereas refitting would take $10^6$ refits.
• Abstract（参考訳）: 本稿では,目標応答ヤコビアン$J = [\partial \hat y_i/\partial y_j]$を紹介した。 J$は、トレーニングデータ属性(TDA)メソッドを補完するものであり、これは、目標よりも損失におけるトレーニング観測に置かれる重みに対する感度を特徴付け、影響ベースのTDAメソッドと同じコストで計算される。 サンプルウェイトの影響 $\mathcal{I}$ と $J$ は同じ暗黙の微分論から従うことを示し、例ごとの乗法によってのみ異なる: ポイントワイドの損失に対して、$\mathcal{I} = J\operatorname{diag}(m)$ は、正確には可逆 Hessian を持つ任意の定常点において異なる。 正準リンク損失(二乗誤差、ロジスティック、ポアソン)に対して、乗算器はトレーニング残差であり、$\mathcal{I} = J\operatorname{diag}(r)$、ソフトマックスクロスエントロピーはマルチクラスバージョンに従う。 小さい残差はゼロへのシフトを減少させる(補間崩壊)、混合符号の残差がその方向を洗い流す(方向洗浄)、ソフトマックスのクロスエントロピーの下では、訓練点のクラスごとの感性(真のクラス崩壊)を崩壊させる(真のクラス崩壊)。 どちらの演算子も、ターゲットの摂動にまたがる予測当たりのR^2$で再適合するので、再スケーリングは行わない。 平方誤差(Friedman #1)とロジスティック損失(MAGIC, HIGGS)で訓練されたタンのネットワークでは、2,000から10^6$の$N$が0.99から1.00の間で$R^2$に達するのに対し、インフルエンサーの$R^2$はすべてのデータセットで負となる。 MNISTソフトマックス分類器では、インフルエンスの$R^2$は再び負であり、J$は0.92である。 HIGGSでは、1行のJ$が1つの予測の10^6$の感度を持ち、1回のセットアップで5分以下でRTX 3090で0.2秒以下、リフィットには10^6$の補正が必要になる。

関連論文リスト

• An Accuracy-Information Tradeoff for Loss-Difference Conditional Mutual Information [0.16921396880325776]
  損失差条件付き相互情報(ld-CMI)は、一般化境界のスーパーサンプル階層における標準観測の最小値を使用する。 損失差の3つの瞬間をバウンドすることで、精度がld-CMIを強制することを示す。
  論文  参考訳（メタデータ） (2026-10-06T23:07:16Z)
• Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
  自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。 我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。 この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
  論文  参考訳（メタデータ） (2026-08-01T13:49:46Z)
• Data Predictability Shapes Weibull Weight-Scale Growth in Transformer Training [0.0]
  学習条件付き法則を定める前に計算した学習自由統計法則が得られた。 トレーニングの前に$D$が計算されるので、この法則はフォワード予測器である。 クロスコーパス予測 オーバー予測コード、冗長性はより広い$(D,R,A,H)$データ・ツー・ウェイト・フレームワークの第2軸を意味する。
  論文  参考訳（メタデータ） (2026-06-27T12:26:39Z)
• A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
  飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。 インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
  論文  参考訳（メタデータ） (2026-06-12T16:46:24Z)
• Exact equivariance, kept through training, buys zero-shot generalisation across the symmetry group [6.230579198456525]
  等変エンコーダ$E$と等変予測器$f$から構築された潜在世界モデルは、トレーニング損失の証明可能な対称性を継承する。 このエンドツーエンドをラップトップスケール(CPU/MPS、完全シード)で検証する。
  論文  参考訳（メタデータ） (2026-06-02T01:20:24Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• IT$^3$: Idempotent Test-Time Training [95.78053599609044]
  ディープラーニングモデルは、トレーニングデータとテストデータの間の分散シフトのために、現実世界の環境にデプロイする際に苦労することが多い。 Idempotent Test-Time Training (IT$3$) は、現在のテストインスタンスのみを使用して、分散シフトへのオンザフライ適応を可能にする新しいアプローチである。 この結果から,イデオポテンスはドメインやアーキテクチャをまたいで一般化するテスト時間適応の普遍的原理を提供すると考えられる。
  論文  参考訳（メタデータ） (2024-10-05T15:39:51Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。