論文の概要: MultiplexNet: Towards Fully Satisfied Logical Constraints in Neural
Networks
- arxiv url: http://arxiv.org/abs/2111.01564v1
- Date: Tue, 2 Nov 2021 12:39:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 14:34:41.670724
- Title: MultiplexNet: Towards Fully Satisfied Logical Constraints in Neural
Networks
- Title(参考訳): multiplexnet:ニューラルネットワークにおける論理制約の完全充足に向けて
- Authors: Nicholas Hoernle, Rafael Michael Karampatsis, Vaishak Belle, Kobi Gal
- Abstract要約: 深層ニューラルネットワークのトレーニングに専門家の知識を取り入れる新しい手法を提案する。
多くのアプローチはドメインの制約を直接ネットワークアーキテクチャにエンコードし、非自明またはドメイン固有のエンジニアリングを必要とします。
我々のアプローチはMultiformxNetと呼ばれ、ドメイン知識を解離正規形(DNF)の論理式として表現する。
- 参考スコア(独自算出の注目度): 21.150810790468608
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel way to incorporate expert knowledge into the training of
deep neural networks. Many approaches encode domain constraints directly into
the network architecture, requiring non-trivial or domain-specific engineering.
In contrast, our approach, called MultiplexNet, represents domain knowledge as
a logical formula in disjunctive normal form (DNF) which is easy to encode and
to elicit from human experts. It introduces a Categorical latent variable that
learns to choose which constraint term optimizes the error function of the
network and it compiles the constraints directly into the output of existing
learning algorithms. We demonstrate the efficacy of this approach empirically
on several classical deep learning tasks, such as density estimation and
classification in both supervised and unsupervised settings where prior
knowledge about the domains was expressed as logical constraints. Our results
show that the MultiplexNet approach learned to approximate unknown
distributions well, often requiring fewer data samples than the alternative
approaches. In some cases, MultiplexNet finds better solutions than the
baselines; or solutions that could not be achieved with the alternative
approaches. Our contribution is in encoding domain knowledge in a way that
facilitates inference that is shown to be both efficient and general; and
critically, our approach guarantees 100% constraint satisfaction in a network's
output.
- Abstract(参考訳): 本稿では,ディープニューラルネットワークの学習に専門家の知識を組み込む新しい手法を提案する。
多くのアプローチはドメインの制約を直接ネットワークアーキテクチャにエンコードし、非自明またはドメイン固有のエンジニアリングを必要とします。
対照的に、multiplexnetと呼ばれるこのアプローチは、ドメイン知識を、エンコードし易く、人間の専門家から導出できる、分離正規形(dnf)の論理式として表現する。
それは、ネットワークのエラー関数を最適化する制約項を選択することを学び、既存の学習アルゴリズムの出力に直接制約をコンパイルする。
本手法は,事前知識を論理的な制約として表現した教師付きおよび教師なし環境における密度推定や分類など,いくつかの古典的深層学習タスクにおいて実証的に有効性を示す。
以上の結果から,multiplexnetアプローチは未知分布をよく近似することを学び,代替手法よりも少ないデータサンプルを必要とすることが多い。
場合によっては、MultiformxNetはベースラインよりも優れたソリューションや、代替アプローチでは達成できないソリューションを見つけます。
我々の貢献は、効率的かつ一般的な推論を容易にする方法でドメイン知識を符号化することであり、そして、重要なことに、我々のアプローチは、ネットワークの出力における100%の制約満足度を保証する。
関連論文リスト
- Learning the Optimal Path and DNN Partition for Collaborative Edge Inference [4.368333109035076]
Deep Neural Networks (DNN)は、多数のインテリジェントなモバイルアプリケーションとサービスの開発を触媒している。
これを解決するために、協調的なエッジ推論が提案されている。
この方法では、DNN推論タスクを複数のサブタスクに分割し、それらを複数のネットワークノードに分散する。
我々は,従来のブロックされたEXP3アルゴリズムとLinUCBアルゴリズムの要素を組み合わせたB-EXPUCBアルゴリズムを導入し,そのサブ線形後悔を示す。
論文 参考訳(メタデータ) (2024-10-02T01:12:16Z) - Computability of Classification and Deep Learning: From Theoretical Limits to Practical Feasibility through Quantization [53.15874572081944]
ディープラーニングフレームワークにおける計算可能性について,2つの観点から検討する。
根底にある問題が十分に解決された場合でも、ディープニューラルネットワークを訓練する際のアルゴリズム上の制限を示す。
最後に、分類と深層ネットワークトレーニングの定量化バージョンにおいて、計算可能性の制限は発生せず、一定の程度まで克服可能であることを示す。
論文 参考訳(メタデータ) (2024-08-12T15:02:26Z) - Routing in Quantum Networks with End-to-End Knowledge [10.955844285189373]
本稿では,特定しきい値を超えるエンドツーエンドの忠実度を提供できる経路の確立を容易にするアプローチを提案する。
本稿では,このアプローチの特定の例であるアルゴリズムを定義し,シミュレーションによるDijkstra短経路アルゴリズムと知識認識アルゴリズムとを比較して評価する。
以上の結果から、グレーボックスアルゴリズムの1つは、忠実度しきい値を超える経路の配送において、他の手法よりも一貫して優れていたことが示される。
論文 参考訳(メタデータ) (2024-07-19T15:34:51Z) - LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳(メタデータ) (2024-07-18T22:05:21Z) - Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。
制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。
私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
論文 参考訳(メタデータ) (2023-06-15T08:33:52Z) - Learning to Detect Critical Nodes in Sparse Graphs via Feature Importance Awareness [53.351863569314794]
クリティカルノード問題(CNP)は、削除が残余ネットワークのペア接続性を最大に低下させるネットワークから臨界ノードの集合を見つけることを目的としている。
本研究は,ノード表現のための特徴重要度対応グラフアテンションネットワークを提案する。
ダブルディープQネットワークと組み合わせて、初めてCNPを解くエンドツーエンドのアルゴリズムを作成する。
論文 参考訳(メタデータ) (2021-12-03T14:23:05Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳(メタデータ) (2021-03-02T03:09:03Z) - Learning for Integer-Constrained Optimization through Neural Networks
with Limited Training [28.588195947764188]
我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。
整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。
提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
論文 参考訳(メタデータ) (2020-11-10T21:17:07Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Graph Neural Networks for Scalable Radio Resource Management:
Architecture Design and Theoretical Analysis [31.372548374969387]
本稿では,大規模無線資源管理問題にグラフニューラルネットワーク(GNN)を適用することを提案する。
提案手法はスケーラビリティが高く,1つのGPU上で1,000ドルのトランシーバペアを6ミリ秒以内で行う干渉チャネルにおけるビームフォーミング問題を解くことができる。
論文 参考訳(メタデータ) (2020-07-15T11:43:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。