論文の概要: Expressive Monotonic Neural Networks

• arxiv url: http://arxiv.org/abs/2307.07512v1
• Date: Fri, 14 Jul 2023 17:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 13:05:00.151515
• Title: Expressive Monotonic Neural Networks
• Title（参考訳）: 表現型単調ニューラルネットワーク
• Authors: Ouail Kitouni, Niklas Nolte, Michael Williams
• Abstract要約: ニューラルネットワークの出力のいくつかの入力に対する単調な依存は、ドメイン知識がそのような振る舞いを規定する多くのシナリオにおいて決定的な帰納的バイアスである。 入力の任意の部分集合における正確な単調依存を実現するために, 単一の残差接続を持つ重み制約アーキテクチャを提案する。 このアルゴリズムが、競争性能を達成するための強力で堅牢で解釈可能な識別器の訓練にどのように使われているかを示す。
• 参考スコア（独自算出の注目度）: 1.0128808054306184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The monotonic dependence of the outputs of a neural network on some of its inputs is a crucial inductive bias in many scenarios where domain knowledge dictates such behavior. This is especially important for interpretability and fairness considerations. In a broader context, scenarios in which monotonicity is important can be found in finance, medicine, physics, and other disciplines. It is thus desirable to build neural network architectures that implement this inductive bias provably. In this work, we propose a weight-constrained architecture with a single residual connection to achieve exact monotonic dependence in any subset of the inputs. The weight constraint scheme directly controls the Lipschitz constant of the neural network and thus provides the additional benefit of robustness. Compared to currently existing techniques used for monotonicity, our method is simpler in implementation and in theory foundations, has negligible computational overhead, is guaranteed to produce monotonic dependence, and is highly expressive. We show how the algorithm is used to train powerful, robust, and interpretable discriminators that achieve competitive performance compared to current state-of-the-art methods across various benchmarks, from social applications to the classification of the decays of subatomic particles produced at the CERN Large Hadron Collider.
• Abstract（参考訳）: ニューラルネットワークの出力のいくつかの入力に対する単調な依存は、ドメイン知識がそのような振る舞いを決定づける多くのシナリオにおいて重要な帰納的バイアスである。 これは解釈可能性や公平な考慮において特に重要である。 広い文脈において、単調性が重要なシナリオは金融、医学、物理学、その他の分野に見ることができる。 したがって、この帰納バイアスを確実に実装するニューラルネットワークアーキテクチャを構築することが望ましい。 本研究では,入力の任意の部分集合における正確な単調依存を実現するために,単一の残差接続を持つ重み制約アーキテクチャを提案する。 重み制約スキームはニューラルネットワークのリプシッツ定数を直接制御し、ロバスト性の付加的な利点を提供する。 現在使用されているモノトニック性技術と比較して,本手法は実装が簡単であり,理論上は計算オーバーヘッドが無視され,モノトニック依存の生成が保証され,表現性が高い。 このアルゴリズムは、社会応用からCERN大型ハドロン衝突型加速器で生成されたサブ原子粒子の崩壊の分類に至るまで、様々なベンチマークにおける最先端の手法と比較して、競争力のある、強力で解釈可能な判別器の訓練にどのように使われているかを示す。

関連論文リスト

• MonoKAN: Certified Monotonic Kolmogorov-Arnold Network [48.623199394622546]
  特定のアプリケーションでは、モデル予測は専門家が提案した要件と一致し、時には部分的な単調性制約によって例示されなければならない。 我々は,kanアーキテクチャに基づく新しいANNアーキテクチャMonoKANを導入し,解釈性を高めつつ,認証された部分的単調性を実現する。 実験の結果,MonoKANは解釈可能性を高めるだけでなく,ほとんどのベンチマークにおける予測性能も向上し,最先端のモノトニックアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-17T11:10:59Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
  この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。 1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。 2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
  論文  参考訳（メタデータ） (2022-11-21T09:42:15Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Robust and Provably Monotonic Networks [0.0]
  深層学習モデルのリプシッツ定数を制約する新しい手法を提案する。 LHCbのリアルタイムデータ処理システムにおいて, 強靭で解釈可能な判別器を学習するために, アルゴリズムがどのように使われたかを示す。
  論文  参考訳（メタデータ） (2021-11-30T19:01:32Z)
• Interpretable Social Anchors for Human Trajectory Forecasting in Crowds [84.20437268671733]
  本研究では,人混みの軌跡を予測できるニューラルネットワークシステムを提案する。 解釈可能なルールベースのインテントを学び、ニューラルネットワークの表現可能性を利用してシーン固有の残差をモデル化する。 私たちのアーキテクチャは、インタラクション中心のベンチマークTrajNet++でテストされています。
  論文  参考訳（メタデータ） (2021-05-07T09:22:34Z)
• Certified Monotonic Neural Networks [15.537695725617576]
  本稿では,混合整数線形計画問題の解法により,一般のピースワイド線形ニューラルネットワークの単調性を証明することを提案する。 我々のアプローチでは、重み空間に対する人間設計の制約を必要とせず、より正確な近似が得られる。
  論文  参考訳（メタデータ） (2020-11-20T04:58:13Z)
• The Curious Case of Convex Neural Networks [12.56278477726461]
  完全連結層と畳み込み層の両方に凸性制約を適用可能であることを示す。 a) IOC-NN(Input Output Convex Neural Networks)の自己正規化とオーバーフィッティング(オーバーフィッティング)の問題の低減; (b) 厳しい制約にもかかわらず、ベースマルチレイヤのパーセプトロンを上回り、ベースコンボリューションアーキテクチャと比較して同様のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-06-09T08:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。