論文の概要: Evaluating Relaxations of Logic for Neural Networks: A Comprehensive Study

• arxiv url: http://arxiv.org/abs/2107.13646v1
• Date: Wed, 28 Jul 2021 21:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-30 13:25:03.017620
• Title: Evaluating Relaxations of Logic for Neural Networks: A Comprehensive Study
• Title（参考訳）: ニューラルネットワークにおける論理緩和の評価--包括的研究
• Authors: Mattia Medina Grespan, Ashim Gupta and Vivek Srikumar
• Abstract要約: 本稿では,ラベル付き例と問題に関する知識を表す論理的表現をいかに緩和するかという課題について考察する。 本稿では, 様々なシナリオにおいて, 緩和が果たす効果を評価できる理論的, 経験的基準を提案する。
• 参考スコア（独自算出の注目度）: 17.998891912502092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic knowledge can provide crucial inductive bias for training neural models, especially in low data regimes. A successful strategy for incorporating such knowledge involves relaxing logical statements into sub-differentiable losses for optimization. In this paper, we study the question of how best to relax logical expressions that represent labeled examples and knowledge about a problem; we focus on sub-differentiable t-norm relaxations of logic. We present theoretical and empirical criteria for characterizing which relaxation would perform best in various scenarios. In our theoretical study driven by the goal of preserving tautologies, the Lukasiewicz t-norm performs best. However, in our empirical analysis on the text chunking and digit recognition tasks, the product t-norm achieves best predictive performance. We analyze this apparent discrepancy, and conclude with a list of best practices for defining loss functions via logic.
• Abstract（参考訳）: シンボリック知識は、特に低データレジームにおいて、ニューラルネットワークモデルのトレーニングに重要な帰納的バイアスをもたらす。 このような知識を組み込む戦略の成功は、最適化のために論理的ステートメントを可微分損失に緩和することを伴う。 本稿では,ラベル付き例や問題に関する知識を表現した論理式をいかに緩和するかという問題について考察する。 様々なシナリオにおいてどの緩和が最適かを特徴付ける理論的・経験的基準を提案する。 タウトロジーの保存を目標とする理論研究では、Lukasiewicz t-normが最適である。 しかし,テキストのチャンキングと文字認識タスクに関する経験的分析では,t-normが最適な予測性能を達成している。 この明らかな相違を分析し、論理を通じて損失関数を定義するためのベストプラクティスのリストで締めくくります。

関連論文リスト

• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Reduced Implication-bias Logic Loss for Neuro-Symbolic Learning [11.343715006460577]
  異なる演算子は、バックプロパゲーション中に有意なバイアスをもたらし、ニューロ・シンボリック学習の性能を低下させる可能性がある。 本稿では,バイアス付き損失関数をtextitReduced Implication-bias Logic Loss に変換する方法を提案する。 経験的研究により、RILLはバイアスド論理損失関数よりも大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2022-08-14T11:57:46Z)
• MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
  テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。 2つの新しい戦略が我々の手法の必須要素である。
  論文  参考訳（メタデータ） (2022-03-01T11:13:00Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• Neural Logic Reasoning [47.622957656745356]
  本稿では,ディープラーニングと論理推論の能力を統合するために,論理統合ニューラルネットワーク(LINN)を提案する。 LINNは、神経モジュールとしてAND、OR、NOTなどの基本的な論理操作を学び、推論のためにネットワークを通して命題論理推論を行う。 実験の結果、LINNはTop-Kレコメンデーションにおいて最先端のレコメンデーションモデルを大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-08-20T14:53:23Z)
• Logical Neural Networks [51.46602187496816]
  ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。 すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。 推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
  論文  参考訳（メタデータ） (2020-06-23T16:55:45Z)
• Analyzing Differentiable Fuzzy Logic Operators [3.4806267677524896]
  ファジィ論理文からの論理演算子の大規模な集合が、微分可能な学習環境でどのように振る舞うかを考察する。 半教師付き学習において微分可能なファジィ論理を用いることが可能であることを示し、実際に異なる演算子がどのように振る舞うかを比較する。
  論文  参考訳（メタデータ） (2020-02-14T16:11:36Z)
• Relational Neural Machines [19.569025323453257]
  本稿では,学習者のパラメータと一階論理に基づく推論を共同で学習するフレームワークを提案する。 ニューラルネットワークは、純粋な準記号学習の場合の古典的な学習結果とマルコフ論理ネットワークの両方を復元することができる。 適切なアルゴリズム解は、大規模な問題において学習と推論が引き出すことができるように考案されている。
  論文  参考訳（メタデータ） (2020-02-06T10:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。