論文の概要: Counterexample-Guided Learning of Monotonic Neural Networks

• arxiv url: http://arxiv.org/abs/2006.08852v1
• Date: Tue, 16 Jun 2020 01:04:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:11:42.099751
• Title: Counterexample-Guided Learning of Monotonic Neural Networks
• Title（参考訳）: 単調ニューラルネットワークの逆例学習
• Authors: Aishwarya Sivaraman, Golnoosh Farnadi, Todd Millstein, Guy Van den Broeck
• Abstract要約: 単調性制約に注目するが、これは一般的であり、特定の入力特徴の値が増加するにつれて関数の出力が増加することが要求される。 本研究では,予測時の単調性制約を確実に強制する逆例誘導手法を開発した。 深層学習の帰納バイアスとして単調性を用いる手法も提案する。
• 参考スコア（独自算出の注目度）: 32.73558242733049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread adoption of deep learning is often attributed to its automatic feature construction with minimal inductive bias. However, in many real-world tasks, the learned function is intended to satisfy domain-specific constraints. We focus on monotonicity constraints, which are common and require that the function's output increases with increasing values of specific input features. We develop a counterexample-guided technique to provably enforce monotonicity constraints at prediction time. Additionally, we propose a technique to use monotonicity as an inductive bias for deep learning. It works by iteratively incorporating monotonicity counterexamples in the learning process. Contrary to prior work in monotonic learning, we target general ReLU neural networks and do not further restrict the hypothesis space. We have implemented these techniques in a tool called COMET. Experiments on real-world datasets demonstrate that our approach achieves state-of-the-art results compared to existing monotonic learners, and can improve the model quality compared to those that were trained without taking monotonicity constraints into account.
• Abstract（参考訳）: ディープラーニングの普及は、帰納バイアスを最小限に抑えた自動的特徴構築によることが多い。 しかし、多くの現実世界のタスクでは、学習関数はドメイン固有の制約を満たすことを意図している。 我々は、特定の入力特徴の値の増加に伴い、関数の出力が増加することを要求し、共通する単調性制約に焦点を当てる。 予測時間に一調性制約を強制する反例誘導手法を開発した。 さらに,単調性をディープラーニングの帰納的バイアスとして用いる手法を提案する。 学習プロセスに単調な反例を反復的に組み込むことで機能する。 単調学習における先行研究とは対照的に,一般のreluニューラルネットワークを対象とし,仮説空間をこれ以上制限しない。 我々はこれらの手法をCOMETと呼ばれるツールで実装した。 実世界のデータセットを用いた実験では,既存のモノトニック学習者と比較して,我々の手法が最先端の結果を達成し,モノトニック性制約を考慮に入れずにトレーニングした者に比べてモデル品質を向上させることが示されている。

関連論文リスト

• Expressive Monotonic Neural Networks [1.0128808054306184]
  ニューラルネットワークの出力のいくつかの入力に対する単調な依存は、ドメイン知識がそのような振る舞いを規定する多くのシナリオにおいて決定的な帰納的バイアスである。 入力の任意の部分集合における正確な単調依存を実現するために, 単一の残差接続を持つ重み制約アーキテクチャを提案する。 このアルゴリズムが、競争性能を達成するための強力で堅牢で解釈可能な識別器の訓練にどのように使われているかを示す。
  論文  参考訳（メタデータ） (2023-07-14T17:59:53Z)
• How to address monotonicity for model risk management? [1.0878040851638]
  本稿では, 個々の単調性, 弱い対単調性, 強い対単調性という, 3種類の単調性の存在下での透明ニューラルネットワークについて検討する。 透明性を維持しながらモノトニック性を達成する手段として,ニューラル付加モデルのモノトニックグローブを提案する。
  論文  参考訳（メタデータ） (2023-04-28T04:21:02Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
  既存の一般化誤差境界は負の例の数$k$に線形に依存する。 対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
  論文  参考訳（メタデータ） (2023-02-24T01:03:56Z)
• Constrained Monotonic Neural Networks [0.685316573653194]
  金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。 モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。 我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
  論文  参考訳（メタデータ） (2022-05-24T04:26:10Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Certified Monotonic Neural Networks [15.537695725617576]
  本稿では,混合整数線形計画問題の解法により,一般のピースワイド線形ニューラルネットワークの単調性を証明することを提案する。 我々のアプローチでは、重み空間に対する人間設計の制約を必要とせず、より正確な近似が得られる。
  論文  参考訳（メタデータ） (2020-11-20T04:58:13Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Exact Hard Monotonic Attention for Character-Level Transduction [76.66797368985453]
  非単調なソフトアテンションを用いたニューラルシークエンス・ツー・シーケンスモデルは、しばしば一般的な単調モデルよりも優れていることを示す。 我々は、厳密な単調性を強制し、トランスデューサの学習中に協調して潜時アライメントを学習するハードアテンションシーケンス・ツー・シーケンス・モデルを開発した。
  論文  参考訳（メタデータ） (2019-05-15T17:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。