論文の概要: Beyond Additive Decompositions: Interpretability Through Separability
- arxiv url: http://arxiv.org/abs/2605.31200v2
- Date: Mon, 01 Jun 2026 11:12:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 18:24:16.921149
- Title: Beyond Additive Decompositions: Interpretability Through Separability
- Title(参考訳): 付加的分解を超えて:分離性による解釈可能性
- Authors: Jinyang Liu, Munir Eberhardt Hiabu,
- Abstract要約: 解釈可能な機械学習は、正確で構造的にデータに忠実なモデルを必要とする。
本稿では, 段階的にグレディな手続きを施して, 単機能関数のランク1積の総和を学習する回帰モデルである分離学習(TSL)を提案する。
我々は、有界な$p$-次部分微分を持つ関数に対する近似レート保証を確立し、TSLが回帰ベンチマークのブラックボックスモデルと競合することを示す。
- 参考スコア(独自算出の注目度): 1.92520187564634
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpretable machine learning requires models that are accurate and structurally faithful to the data. Existing explainability methods rely heavily on additive representations (e.g., Generalized Additive Models (GAMs), SHapley Additive exPlanations (SHAP), functional ANOVA), which can suffer from signal cancellation and off-support extrapolation in the presence of strong interactions. We propose Tensor Separation Learning (TSL), a regression model that learns a sum of rank-1 products of univariate per-feature functions via a stagewise greedy procedure with orthogonal refitting. By enforcing separability, TSL avoids the information loss inherent in additive projections caused by marginalizing higher-order interactions. The learned TSL model can be fully reconstructed from first-order partial dependence functions, up to constant factors. This stage-wise correspondence ensures that the resulting visualizations are faithful to the fitted components. We establish approximation-rate guarantees for functions with bounded mixed $p$-th order partial derivatives and demonstrate that TSL competes with black-box models on regression benchmarks.
- Abstract(参考訳): 解釈可能な機械学習は、正確で構造的にデータに忠実なモデルを必要とする。
既存の説明可能性法は、強い相互作用が存在する場合、信号のキャンセルや非サポート外挿に苦しむことができる追加表現(GAMs, Generalized Additive Models, SHAP, functional ANOVA)に大きく依存している。
直交再構成を用いた段階的欲求手続きにより,一変量関数のランク1積の和を学習する回帰モデルであるテンソル分離学習(TSL)を提案する。
分離性を強制することにより、TLLは高次相互作用の辺縁化に起因する追加射影に固有の情報損失を回避する。
学習したTLLモデルは、一階部分依存関数から定数因子まで完全に再構成できる。
この段階的な対応は、結果の可視化が適合したコンポーネントに忠実であることを保証する。
我々は、有界な$p$-次部分微分を持つ関数に対する近似レート保証を確立し、TSLが回帰ベンチマークのブラックボックスモデルと競合することを示す。
関連論文リスト
- Knowing when to trust machine-learned interatomic potentials [1.5586922787941984]
PROBEは予測毎の信頼確率を生成し、基礎となるモデルを変更することなく実際の誤差を追跡できることを示す。
PROBEはポストホックでアーキテクチャに依存しず、任意のマシンが学習した原子間ポテンシャルに直接デプロイ可能である。
論文 参考訳(メタデータ) (2026-05-01T13:21:56Z) - Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。
CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
論文 参考訳(メタデータ) (2026-01-06T16:26:40Z) - Identifiable Convex-Concave Regression via Sub-gradient Regularised Least Squares [1.9580473532948397]
複雑な入力関係を凸成分と凹成分の和としてモデル化する新しい非パラメトリック回帰法を提案する。
The method-ICCNLS-decomposes sub-constrained shape-constrained additive decomposition。
論文 参考訳(メタデータ) (2025-06-22T15:53:12Z) - Disentanglement with Factor Quantized Variational Autoencoders [11.597012266516332]
本稿では,生成因子に関する基礎的真理情報をモデルに提供しない離散変分オートエンコーダ(VAE)モデルを提案する。
本研究では, 離散表現を学習する上で, 連続表現を学習することの利点を実証する。
FactorQVAEと呼ばれる手法は、最適化に基づく不整合アプローチと離散表現学習を組み合わせる。
論文 参考訳(メタデータ) (2024-09-23T09:33:53Z) - Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。
評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
論文 参考訳(メタデータ) (2024-08-20T09:42:26Z) - Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
LLM蒸留における多粒性セマンティックリビジョン法を提案する。
シーケンスレベルでは、シーケンス修正と再生戦略を提案する。
トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。
スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
論文 参考訳(メタデータ) (2024-07-14T03:51:49Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。