論文の概要: Interpretable AI with Local Distillation

• arxiv url: http://arxiv.org/abs/2608.23538v1
• Date: Mon, 24 Aug 2026 17:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.218905
• Title: Interpretable AI with Local Distillation
• Title（参考訳）: 局所蒸留による解釈可能なAI
• Abstract要約: 高い意思決定は、正確かつ解釈可能なモデルを構築することを要求する。 そこで我々は,ブラックボックスの「教師」が各問合せ点における正規化線形「学生」モデルを案内する局所蒸留を提案する。 17のベンチマークデータセットで、局所蒸留はAI教師の精度とほぼ一致し、各テストポイントで疎線形モデルを生成する。
• 参考スコア（独自算出の注目度）: 4.2444498670665665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern AI models such as tabular foundation models and gradient-boosted ensembles can outpredict classical methods, but provide little basis for reasoning about their predictions. High-stakes decisions call for models that are both accurate and interpretable as built. Local linear modeling offers a path forward: a smooth regression function is locally well approximated by a linear one, allowing a linear fit near each query point to achieve high accuracy without sacrificing transparency. The challenges lie in learning what is "local" and developing statistical tools for interpretation. Here, we propose local distillation, in which a black-box "teacher" guides a regularized linear "student" model at each query point. The teacher (1) defines locality by upweighting training observations with similar predicted outcomes, and (2) anchors the fit with its prediction at the query point, included as a pseudo-observation whose weight is estimated from the data. For interpretation, we add a small amount of Gaussian randomization to the local objective and use refits to assess stability: selection frequencies identify reliable features at a query point, and clustering the randomized fits identifies stable subgroups across the data. Under the lasso penalty, we prove that this randomization yields feature-selection probabilities that are stable under small perturbations of the training responses. Across 17 benchmark datasets, local distillation nearly matches its AI teacher's accuracy while producing a sparse linear model at each test point. In a high-dimensional cancer gene expression example, the framework identifies patient subgroups whose local models use different genes; this heterogeneity is invisible to a global linear model, and difficult to surface in a black-box model.
• Abstract（参考訳）: 表層基礎モデルや勾配ブーストアンサンブルのような現代のAIモデルは、古典的な手法を予測できるが、それらの予測に関する推論の根拠はほとんどない。 高い意思決定は、正確かつ解釈可能なモデルを構築することを要求する。 滑らかな回帰関数は線形関数によって局所的によく近似され、各クエリポイント付近の線形適合性は透明性を犠牲にすることなく高い精度を達成できる。 課題は、何が「ローカル」なのかを学習し、解釈のための統計ツールを開発することである。 そこで我々は,ブラックボックスの「教師」が,各問合せ点における正規化線形「学生」モデルを案内する局所蒸留を提案する。 教師(1)は、類似した予測結果でトレーニング観察を重み付けして局所性を定義し、(2)データから重みが推定される擬似観測を含む、クエリポイントでの予測に適合する。 選択頻度はクエリポイントにおける信頼性のある特徴を識別し、ランダム化された適合をクラスタリングすることで、データ全体の安定部分群を識別する。 ラッソペナルティの下では、このランダム化によって、訓練応答の小さな摂動下で安定な特徴選択確率が得られることが証明される。 17のベンチマークデータセットで、局所蒸留はAI教師の精度とほぼ一致し、各テストポイントで疎線形モデルを生成する。 高次元のがん遺伝子の発現例では、局所モデルが異なる遺伝子を使用する患者サブグループを特定し、この不均一性はグローバル線形モデルには見えないため、ブラックボックスモデルでは表面化が難しい。

関連論文リスト

• Supervised learning pays attention [42.97070083645048]
  注意を伴うコンテキスト内学習により、大きなニューラルネットワークは、関連する例に選択的にフォーカスすることで、コンテキスト固有の予測を行うことができる。 予測点ごとにパーソナライズされたモデルを柔軟に適合させる方法を示し,(2)モデルが簡潔さと解釈可能性を維持することを示す。 本手法は,注目度に応じてトレーニングデータを重み付けすることで,各試験観測の局所モデルに適合する。
  論文  参考訳（メタデータ） (2025-12-10T18:43:46Z)
• Distributed Gradient Descent with Many Local Steps in Overparameterized Models [20.560882414631784]
  機械学習モデルの分散トレーニングでは、局所的な反復ステップによる勾配降下が一般的な方法である。 局所勾配Descent (Local-GD) における暗黙のバイアスの観点から,この優れた性能を多くの局所ステップで説明しようと試みる。
  論文  参考訳（メタデータ） (2024-12-10T23:19:40Z)
• Measuring training variability from stochastic optimization using robust nonparametric testing [5.519968037738177]
  本稿では,モデル類似度を測定するために,ロバストな仮説テストフレームワークと,新たな要約統計量である$alpha$-trimmingレベルを提案する。 仮説を$alpha$-trimmingレベルで直接適用することは、null仮説の下で分布を正確に記述できないため、難しい。 モデル変数の測定に$alpha$-trimmingレベルを使用する方法を示し、パフォーマンス指標よりも表現力が高いことを実験的に実証する。
  論文  参考訳（メタデータ） (2024-06-12T15:08:15Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Performative Prediction with Neural Networks [24.880495520422]
  パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。 繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。 この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
  論文  参考訳（メタデータ） (2023-04-14T01:12:48Z)
• Personalized Interpretable Classification [6.694135469324352]
  我々は、新たなデータマイニング問題として、パーソナライズされた解釈可能な分類を正式に導入する第一歩を踏み出します。 個々のテストサンプルに対してパーソナライズされたルールを識別するために,PICというグリージーなアルゴリズムを提案する。 我々のアルゴリズムは、最先端のSOTA(State-of-the-art)の解釈と同じレベルの予測精度を達成できる。
  論文  参考訳（メタデータ） (2023-02-06T01:59:16Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Exploring Local Explanations of Nonlinear Models Using Animated Linear Projections [5.524804393257921]
  eXplainable AI(XAI)を使用して、モデルが予測器を使用して予測に到達する方法を示す。 予測器間の相互作用が変数重要度推定にどのように影響するかを理解するために,LVAを線形射影に変換することができる。 このアプローチは、分類学的(ペンギン種、チョコレートタイプ)と定量的(靴と足の給与、住宅価格)の応答モデルから例を示します。
  論文  参考訳（メタデータ） (2022-05-11T09:11:02Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Why do classifier accuracies show linear trends under distribution shift? [58.40438263312526]
  あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。 2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。 分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
  論文  参考訳（メタデータ） (2020-12-31T07:24:30Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。