論文の概要: Understanding black-box models with dependent inputs through a
generalization of Hoeffding's decomposition
- arxiv url: http://arxiv.org/abs/2310.06567v1
- Date: Tue, 10 Oct 2023 12:28:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 15:39:23.346472
- Title: Understanding black-box models with dependent inputs through a
generalization of Hoeffding's decomposition
- Title(参考訳): Hoeffding分解の一般化による依存入力によるブラックボックスモデルの理解
- Authors: Marouane Il Idrissi (EDF R&D PRISME, IMT, SINCLAIR AI Lab), Nicolas
Bousquet (EDF R&D PRISME, SINCLAIR AI Lab, LPSM), Fabrice Gamboa (IMT),
Bertrand Iooss (EDF R&D PRISME, IMT, SINCLAIR AI Lab, GdR MASCOT-NUM),
Jean-Michel Loubes (IMT)
- Abstract要約: ブラックボックスモデルを解釈する主な課題の1つは、非ミューチュアル独立なランダム入力の2乗可積分関数を分解する能力である。
本稿では,この問題を3つの分野に関連付ける新しい枠組みを提案する。
入力に対する2つの妥当な仮定の下では、そのような関数を一意に分解することは常に可能であることを示す。
- 参考スコア(独自算出の注目度): 22.519758624657644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the main challenges for interpreting black-box models is the ability
to uniquely decompose square-integrable functions of non-mutually independent
random inputs into a sum of functions of every possible subset of variables.
However, dealing with dependencies among inputs can be complicated. We propose
a novel framework to study this problem, linking three domains of mathematics:
probability theory, functional analysis, and combinatorics. We show that, under
two reasonable assumptions on the inputs (non-perfect functional dependence and
non-degenerate stochastic dependence), it is always possible to decompose
uniquely such a function. This ``canonical decomposition'' is relatively
intuitive and unveils the linear nature of non-linear functions of non-linearly
dependent inputs. In this framework, we effectively generalize the well-known
Hoeffding decomposition, which can be seen as a particular case. Oblique
projections of the black-box model allow for novel interpretability indices for
evaluation and variance decomposition. Aside from their intuitive nature, the
properties of these novel indices are studied and discussed. This result offers
a path towards a more precise uncertainty quantification, which can benefit
sensitivity analyses and interpretability studies, whenever the inputs are
dependent. This decomposition is illustrated analytically, and the challenges
to adopting these results in practice are discussed.
- Abstract(参考訳): ブラックボックスモデルを解釈する主な課題の1つは、非可換独立なランダム入力の平方可積分関数を変数のあらゆる部分集合の関数の和に一意的に分解する能力である。
しかし、入力間の依存関係を扱うのは複雑である。
本稿では, 確率論, 関数解析, コンビネータ論の3分野をリンクして, この問題を研究する新しい枠組みを提案する。
入力に対する2つの合理的な仮定(非完全機能依存と非退化確率依存)の下では、常にそのような関数を一意的に分解することができる。
この 'canonical decomposition' は比較的直感的であり、非線形依存入力の非線形関数の線型性を明らかにする。
この枠組みでは、特定の場合と見なすことができる、よく知られたホッフィング分解を効果的に一般化する。
ブラックボックスモデルの斜め射影は、評価と分散分解のための新しい解釈可能性指標を可能にする。
直感的な性質とは別に、これらの新しい指標の性質について研究・論じる。
この結果はより正確な不確実性定量化への道を示し、入力が依存するたびに感度分析と解釈可能性の研究に役立つ。
この分解を解析的に説明し、実際にこれらの結果を採用する上での課題について論じる。
関連論文リスト
- Understanding Diffusion Models by Feynman's Path Integral [2.4373900721120285]
ファインマン積分経路を用いた拡散モデルの新しい定式化を導入する。
この定式化はスコアベース生成モデルの包括的記述を提供する。
また、後方微分方程式と損失関数の導出を示す。
論文 参考訳(メタデータ) (2024-03-17T16:24:29Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳(メタデータ) (2024-01-10T02:38:21Z) - Exactly Solvable Schr\"odinger equations with Singularities: A
Systematic Approach to Solving Complexified Potentials (part1) [0.0]
ポテンシャルの議論を複素数に拡張すると、シュル「オーディンガー方程式」が解ける。
本稿では、正規形式で書かれた二階線形微分方程式の解法について、新しい視点を与える。
論文 参考訳(メタデータ) (2023-01-10T05:39:43Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - Weight-variant Latent Causal Models [79.79711624326299]
因果表現学習は、低レベルの観測の背後にある潜伏した高レベルの因果変数を明らかにする。
本研究では,潜伏因果変数の同定に焦点をあてる。
推移性は潜伏因果変数の識別性を著しく阻害することを示す。
本稿では,潜時因果変数を直接学習する構造式caUsAl変分自動エンコーダを提案する。
論文 参考訳(メタデータ) (2022-08-30T11:12:59Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳(メタデータ) (2022-05-25T17:37:08Z) - Generalization Bounds via Convex Analysis [12.411844611718958]
連関出力分布の強い凸関数によって相互情報を置き換えることが可能であることを示す。
例えば、$p$-normの発散とワッサーシュタイン2距離の項で表される境界がある。
論文 参考訳(メタデータ) (2022-02-10T12:30:45Z) - Partial Counterfactual Identification from Observational and
Experimental Data [83.798237968683]
観測データと実験データの任意の組み合わせから最適境界を近似する有効なモンテカルロアルゴリズムを開発した。
我々のアルゴリズムは、合成および実世界のデータセットに基づいて広範囲に検証されている。
論文 参考訳(メタデータ) (2021-10-12T02:21:30Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳(メタデータ) (2021-01-17T07:48:45Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳(メタデータ) (2020-11-04T21:04:02Z) - Flexible mean field variational inference using mixtures of
non-overlapping exponential families [6.599344783327053]
標準平均場変動推論を用いることで、疎性誘導前のモデルに対して妥当な結果が得られないことを示す。
拡散指数族と 0 の点質量の任意の混合が指数族を形成することを示す。
論文 参考訳(メタデータ) (2020-10-14T01:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。