論文の概要: Differentiable Logics for Neural Network Training and Verification

• arxiv url: http://arxiv.org/abs/2207.06741v1
• Date: Thu, 14 Jul 2022 08:48:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 13:03:00.122521
• Title: Differentiable Logics for Neural Network Training and Verification
• Title（参考訳）: ニューラルネットワークのトレーニングと検証のための微分論理
• Authors: Natalia Slusarz, Ekaterina Komendantskaya, Matthew L. Daggitt, and Robert Stewart
• Abstract要約: 適切な手順は、検証前に制約を満たすために、所定のNNをトレーニングすることだ。 訓練のためには、これらの関数は微分可能である必要がある。 どのような差別化可能なロジックが可能ですか? 連続検証の文脈において、特定のDLの選択はどのような違いをもたらすのか?
• 参考スコア（独自算出の注目度）: 0.21524202919676094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rising popularity of neural networks (NNs) in recent years and their increasing prevalence in real-world applications have drawn attention to the importance of their verification. While verification is known to be computationally difficult theoretically, many techniques have been proposed for solving it in practice. It has been observed in the literature that by default neural networks rarely satisfy logical constraints that we want to verify. A good course of action is to train the given NN to satisfy said constraint prior to verifying them. This idea is sometimes referred to as continuous verification, referring to the loop between training and verification. Usually training with constraints is implemented by specifying a translation for a given formal logic language into loss functions. These loss functions are then used to train neural networks. Because for training purposes these functions need to be differentiable, these translations are called differentiable logics (DL). This raises several research questions. What kind of differentiable logics are possible? What difference does a specific choice of DL make in the context of continuous verification? What are the desirable criteria for a DL viewed from the point of view of the resulting loss function? In this extended abstract we will discuss and answer these questions.
• Abstract（参考訳）: 近年のニューラルネットワーク(NN)の普及と、現実のアプリケーションにおけるその普及は、その検証の重要性に注意を向けている。 検証は理論上は難しいことが知られているが、実際には多くの手法が提案されている。 文献では、デフォルトでニューラルネットワークが検証したい論理的制約を満たさないことが観察されている。 適切な手順は、検証する前にその制約を満たすために与えられたNNをトレーニングすることだ。 このアイデアは、トレーニングと検証の間のループを参照して、継続的検証と呼ばれることもある。 通常、制約付きトレーニングは、与えられた形式論理言語を損失関数に変換することで実施される。 これらの損失関数はニューラルネットワークのトレーニングに使用される。 訓練目的のためにこれらの関数は微分可能でなければならないため、これらの翻訳は微分可能論理(DL)と呼ばれる。 これはいくつかの研究課題を提起する。 どんな区別可能な論理が可能でしょうか? dlの特定の選択が連続検証の文脈でどのような違いをもたらすのか? 結果損失関数の観点から見たdlの望ましい基準は何か? この拡張された要約では、これらの質問に答えます。

関連論文リスト

• Logic of Differentiable Logics: Towards a Uniform Semantics of DL [1.1549572298362787]
  論理的仕様を満たすためにニューラルネットワークを訓練する方法として、微分論理(DL)が提案されている。 本稿では、微分可能論理学(LDL)と呼ばれるDLを定義するメタ言語を提案する。 我々は,既存のDLの理論的特性を確立するためにLDLを使用し,ニューラルネットワークの検証において実験的な研究を行う。
  論文  参考訳（メタデータ） (2023-03-19T13:03:51Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Neural Logic Reasoning [47.622957656745356]
  本稿では,ディープラーニングと論理推論の能力を統合するために,論理統合ニューラルネットワーク(LINN)を提案する。 LINNは、神経モジュールとしてAND、OR、NOTなどの基本的な論理操作を学び、推論のためにネットワークを通して命題論理推論を行う。 実験の結果、LINNはTop-Kレコメンデーションにおいて最先端のレコメンデーションモデルを大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T14:53:23Z)
• When and why PINNs fail to train: A neural tangent kernel perspective [2.1485350418225244]
  PINNのニューラルタンジェントカーネル(NTK)を導出し、適切な条件下では、無限幅極限でのトレーニング中に一定となる決定論的カーネルに収束することを示す。 学習誤差の総和に寄与する損失成分の収束率に顕著な差があることが判明した。 本研究では,NTKの固有値を用いて学習誤差の収束率を適応的に調整する勾配降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-28T23:44:56Z)
• Logical Neural Networks [51.46602187496816]
  ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。 すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。 推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
  論文  参考訳（メタデータ） (2020-06-23T16:55:45Z)
• Analyzing Differentiable Fuzzy Implications [3.4806267677524896]
  本研究では,ファジィ論理文からの含意が,異なる場面でどのように振る舞うかを考察する。 様々なファジィな含意が、最もよく知られているものも含めて、異なる学習環境での使用に非常に適していないことが判明した。 我々は,この現象に対処するために,新しいファジィ含意(sigmoidal含意(sigmoidal含意))を導入した。
  論文  参考訳（メタデータ） (2020-06-04T15:34:37Z)
• Analyzing Differentiable Fuzzy Logic Operators [3.4806267677524896]
  ファジィ論理文からの論理演算子の大規模な集合が、微分可能な学習環境でどのように振る舞うかを考察する。 半教師付き学習において微分可能なファジィ論理を用いることが可能であることを示し、実際に異なる演算子がどのように振る舞うかを比較する。
  論文  参考訳（メタデータ） (2020-02-14T16:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。