論文の概要: Certifiably Interpretable Training of ReLU-MLPs for Boolean Tasks with Guaranteed Truth-Table Generalization
- arxiv url: http://arxiv.org/abs/2609.13439v1
- Date: Fri, 11 Sep 2026 18:55:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.308859
- Title: Certifiably Interpretable Training of ReLU-MLPs for Boolean Tasks with Guaranteed Truth-Table Generalization
- Title（参考訳）: ReLU-MLPの厳密な一般化を伴うブールタスクに対する十分解釈可能なトレーニング
- Abstract要約: 本稿では,一意に構造化された$operatornameReLU$-MLPを,部分真理テーブル観測から構築する特化学習アルゴリズム(MACCHIATO)を提案する。
我々は, $operatornameReLU$-MLP 回路コンパイル, ESPRESSO 論理, および影響に基づく変数選択を組み合わせる。
合成ランダム・ユンタタスクでは、ネットワークは複数のデータスパースまたはプロジェクションアライメントアライメントにおいて、奥行きと隠れ幅マッチングされたアダム訓練よりも優れる。
- 参考スコア（独自算出の注目度）: 11.567712665172474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As compute scales, models evolve, and training algorithms advance, our ability to explain the increasingly powerful AI systems they enable is eroding. To help safeguard interpretability, we introduce a specialized training algorithm (MACCHIATO) that jointly constructs (i) an explicitly structured $\operatorname{ReLU}$-MLP from partial truth-table observations and (ii) an explicit Boolean circuit over signed literals with $\{\operatorname{AND},\operatorname{OR},\operatorname{XOR}\}$ gates certifying what its subnetworks compute and how they compose. Intuitively, we iteratively project the residuals of a Boolean function onto low-dimensional $\{\operatorname{AND},\operatorname{OR},\operatorname{XOR}\}$-circuit classes and exactly compile the resulting circuit into a $\operatorname{ReLU}$-MLP; we combine $\operatorname{ReLU}$-MLP circuit compilation, ESPRESSO logic minimization, and influence-based variable selection. Roughly speaking, our interpretability certificate is complemented by a statistical guarantee: under the theorem's influence-recovery conditions, if each of the $m$ stage-wise residuals depends on at most $\log_2(B)$ bits, a sample-splitting variant of our algorithm trained on $T$ observations returns a six-layer $\operatorname{ReLU}$-MLP (counting the input layer) of width $\mathcal{O}(mB)$ with truth-table error $\mathcal{O}\bigl(\sqrt{m(B+\log(m/δ))/T}\bigr)$. On synthetic random-junta tasks, our networks outperform depth- and hidden-width-matched Adam-trained MLPs in several data-sparse or projection-aligned regimes, while the trained ReLU-MLPs are stronger in others. Moreover, in our explicit PyEDA truth-table implementation, the iterative procedure completes in regimes where flat ambient-dimensional ESPRESSO exceeds the three-hour computational budget.
- Abstract（参考訳）: 計算スケール、モデルの発展、アルゴリズムのトレーニングが進むにつれて、それらが実現している強力なAIシステムを説明する能力は浸食している。
解釈可能性の保護を支援するために,共同構築のための特化学習アルゴリズム(MACCHIATO)を導入する。
i) 部分真理表による明示的に構造化された$\operatorname{ReLU}$-MLP
(ii)$\{\operatorname{AND},\operatorname{OR},\operatorname{XOR}\}$ gatesで署名されたリテラル上の明示的なBoolean回路。
直感的には、Boolean関数の残余を低次元の$\{\operatorname{AND},\operatorname{OR},\operatorname{XOR}\}$-circuitクラスに繰り返し投影し、その結果の回路を$\operatorname{ReLU}$-MLPに正確にコンパイルする。
大まかに言えば、我々の解釈可能性証明は統計的保証によって補完される: 定理の影響-回復条件の下で、$m$のステージワイド残差が少なくとも$\log_2(B)$ bits に依存するなら、$T$で訓練されたアルゴリズムのサンプル分割変種は、$\mathcal{O}(mB)$ with truth-table error $\mathcal{O}\bigl(\sqrt{m(B+\log(m/δ))/T}\bigr$を返します。
合成ランダム・ユタタスクでは、トレーニングされたReLU-MLPは、複数のデータスパースまたはプロジェクションアライメントアライメントで、奥行きと隠れ幅マッチングされたAdam-trained MLPよりも優れています。
さらに、我々の明示的なPyEDAの真理表実装では、平坦な周囲次元ESPRESSOが3時間の計算予算を超える状況下で反復手続きが完了する。
関連論文リスト
- Generalization Bounds and Statistical Guarantees for Multi-Task and Multiple Operator Learning with MNO Networks [0.0]
複数の演算子学習は、学習演算子ファミリー$G[]:Uto V_in W$演算子記述子$$でインデックス付けされる。
トレーニングデータは、演算子インスタンスをサンプリングする$$、インスタンス毎に$u$の入力関数、最後に入力毎に$x$の評価ポイントによって階層的に収集される。
本稿では、分割可能なモデルに対する被覆数に基づく一般化解析を行い、マルチプルニューラル演算子アーキテクチャに焦点をあてる。
論文 参考訳（メタデータ） (2026-04-02T12:23:35Z) - Evolution Strategies at the Hyperscale [57.75314521465674]
本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。
ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。
EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
論文 参考訳（メタデータ） (2025-11-20T18:56:05Z) - Algorithms and SQ Lower Bounds for Robustly Learning Real-valued Multi-index Models [34.196233651364615]
ガウス分布に基づく実数値マルチインデックスモデル(MIM)の学習の複雑さについて検討する。
K$-MIM は関数 $f:mathbbRdto mathbbR$ であり、入力の$K$-次元部分空間への射影のみに依存する。
逆ラベルノイズが存在する場合でも, 正方形損失に対して幅広いMIMを学習するための一般アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-05-27T17:47:26Z) - Towards Better Understanding of In-Context Learning Ability from In-Context Uncertainty Quantification [7.869708570399577]
条件付き期待値 $mathbbE[Y|X]$ と条件付き分散 Var$(Y|X)$ の両方を予測する双目的予測タスクを考える。
理論的には、トレーニングされたトランスフォーマーがベイズ最適付近に到達し、トレーニング分布の情報の利用が示唆される。
論文 参考訳（メタデータ） (2024-05-24T00:08:55Z) - Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。
我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。
我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
論文 参考訳（メタデータ） (2024-05-10T09:58:47Z) - Efficiently Learning One-Hidden-Layer ReLU Networks via Schur
Polynomials [50.90125395570797]
正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。
本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
論文 参考訳（メタデータ） (2023-07-24T14:37:22Z) - On the Provable Advantage of Unsupervised Pretraining [26.065736182939222]
教師なし事前学習は、現代の大規模機械学習システムにおいて重要な要素である。
本稿では、教師なし表現学習タスクを潜在変数モデルの抽象クラスで指定する汎用フレームワークについて検討する。
軽度の'informative'条件下では、下流タスクに対して$tildemathcalO(sqrtmathcalC_Phi/m + sqrtmathcalC_Psi/n)$の過剰なリスクを達成する。
論文 参考訳（メタデータ） (2023-03-02T20:42:05Z) - Blessing of Class Diversity in Pre-training [54.335530406959435]
事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。
我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
論文 参考訳（メタデータ） (2022-09-07T20:10:12Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳（メタデータ） (2022-06-13T19:11:22Z) - Randomized Exploration for Reinforcement Learning with General Value
Function Approximation [122.70803181751135]
本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。
提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。
我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
論文 参考訳（メタデータ） (2021-06-15T02:23:07Z) - Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。
解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。
我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
論文 参考訳（メタデータ） (2020-08-17T22:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。