論文の概要: The Loss Kernel: A Geometric Probe for Deep Learning Interpretability
- arxiv url: http://arxiv.org/abs/2509.26537v1
- Date: Tue, 30 Sep 2025 17:10:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 14:45:00.223563
- Title: The Loss Kernel: A Geometric Probe for Deep Learning Interpretability
- Title（参考訳）: The Loss Kernel: ディープラーニングの解釈可能性のための幾何学的プローブ
- Authors: Maxwell Adam, Zach Furman, Jesse Hoogland,
- Abstract要約: 我々は、トレーニングされたニューラルネットワークに基づいて、データポイント間の類似度を測定するための解釈可能性であるロスカーネルを紹介する。
これにより、ロスカーネルは解釈可能性とデータ属性の実用的なツールとして確立される。
- 参考スコア（独自算出の注目度）: 1.2508449445372107
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the loss kernel, an interpretability method for measuring similarity between data points according to a trained neural network. The kernel is the covariance matrix of per-sample losses computed under a distribution of low-loss-preserving parameter perturbations. We first validate our method on a synthetic multitask problem, showing it separates inputs by task as predicted by theory. We then apply this kernel to Inception-v1 to visualize the structure of ImageNet, and we show that the kernel's structure aligns with the WordNet semantic hierarchy. This establishes the loss kernel as a practical tool for interpretability and data attribution.
- Abstract（参考訳）: 我々は、トレーニングされたニューラルネットワークに基づいて、データポイント間の類似度を測定するための解釈可能性であるロスカーネルを紹介する。
カーネルは低損失保存パラメータ摂動分布で計算されたサンプル当たり損失の共分散行列である。
まず,提案手法を合成マルチタスク問題に対して検証し,理論により予測されたタスクごとの入力を分離することを示す。
次に、このカーネルをインセプション-v1に適用して、ImageNetの構造を視覚化し、カーネルの構造がWordNetセマンティック階層と整合していることを示す。
これにより、ロスカーネルは解釈可能性とデータ属性の実用的なツールとして確立される。
関連論文リスト
- Deep Sketched Output Kernel Regression for Structured Prediction [21.93695380726788]
カーネルによる損失は、構造化された出力予測タスクを定義するための原則化された方法を提供する。
我々は、構造化出力予測タスクを解決するためにニューラルネットワークをトレーニングする方法の課題に取り組む。
論文 参考訳（メタデータ） (2024-06-13T15:56:55Z) - Neural Tangent Kernels Motivate Graph Neural Networks with
Cross-Covariance Graphs [94.44374472696272]
グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。
その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。
これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
論文 参考訳（メタデータ） (2023-10-16T19:54:21Z) - An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。
この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
論文 参考訳（メタデータ） (2023-08-01T20:22:53Z) - Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。
我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。
カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
論文 参考訳（メタデータ） (2022-09-29T15:53:19Z) - NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。
最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。
教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文 参考訳（メタデータ） (2022-04-30T05:31:07Z) - On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。
分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2022-02-28T13:01:04Z) - Neural Networks as Kernel Learners: The Silent Alignment Effect [86.44610122423994]
遅延トレーニング体制におけるニューラルネットワークは、カーネルマシンに収束する。
これは、サイレントアライメント(サイレントアライメント)という現象のためである。
また、非白データは無声アライメント効果を弱めることを示した。
論文 参考訳（メタデータ） (2021-10-29T18:22:46Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Deterministic error bounds for kernel-based learning techniques under
bounded noise [0.0]
本稿では,有限個のノイズ崩壊サンプルから関数を再構成する問題を考察する。
2つのカーネルアルゴリズム、すなわちカーネルリッジ回帰と$varepsilon$- Support vector regressionを解析する。
論文 参考訳（メタデータ） (2020-08-10T10:16:00Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。