論文の概要: Reduced Implication-bias Logic Loss for Neuro-Symbolic Learning

• arxiv url: http://arxiv.org/abs/2208.06838v2
• Date: Mon, 25 Sep 2023 10:26:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 04:53:43.499737
• Title: Reduced Implication-bias Logic Loss for Neuro-Symbolic Learning
• Title（参考訳）: ニューロシンボリック学習における含意バイアス論理損失の低減
• Authors: Haoyuan He, Wangzhou Dai, Ming Li
• Abstract要約: 異なる演算子は、バックプロパゲーション中に有意なバイアスをもたらし、ニューロ・シンボリック学習の性能を低下させる可能性がある。 本稿では,バイアス付き損失関数をtextitReduced Implication-bias Logic Loss に変換する方法を提案する。 経験的研究により、RILLはバイアスド論理損失関数よりも大幅に改善できることが示された。
• 参考スコア（独自算出の注目度）: 11.343715006460577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Integrating logical reasoning and machine learning by approximating logical inference with differentiable operators is a widely used technique in Neuro-Symbolic systems. However, some differentiable operators could bring a significant bias during backpropagation and degrade the performance of Neuro-Symbolic learning. In this paper, we reveal that this bias, named \textit{Implication Bias} is common in loss functions derived from fuzzy logic operators. Furthermore, we propose a simple yet effective method to transform the biased loss functions into \textit{Reduced Implication-bias Logic Loss (RILL)} to address the above problem. Empirical study shows that RILL can achieve significant improvements compared with the biased logic loss functions, especially when the knowledge base is incomplete, and keeps more robust than the compared methods when labelled data is insufficient.
• Abstract（参考訳）: 論理推論を微分演算子に近似することで論理推論と機械学習を統合することは、ニューロシンボリックシステムにおいて広く使われているテクニックである。 しかし、いくつかの微分演算子は、バックプロパゲーション中に大きなバイアスをもたらし、神経シンボリック学習の性能を低下させる可能性がある。 本稿では、ファジィ論理演算子から導かれる損失関数において、textit{Implication Bias} と呼ばれるこのバイアスが一般的であることを明らかにする。 さらに,上記の問題に対処するために,バイアス付き損失関数を \textit{reduced impliation-bias logic loss (rill) に変換する簡易かつ効果的な手法を提案する。 経験的研究によれば、rillは偏りのある論理損失関数と比較して、特に知識ベースが不完全である場合には大幅に改善でき、ラベル付きデータが不十分である場合には比較方法よりも頑健である。

関連論文リスト

• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Logic-induced Diagnostic Reasoning for Semi-supervised Semantic Segmentation [85.12429517510311]
  LogicDiagは、セマンティックセグメンテーションのためのニューラルネットワークによる半教師付き学習フレームワークである。 私たちの重要な洞察は、記号的知識によって識別される擬似ラベル内の衝突は、強いが一般的に無視される学習信号として機能する、ということです。 本稿では,論理規則の集合として意味論的概念の構造的抽象化を定式化するデータ・ハングリーセグメンテーションシナリオにおけるLogicDiagの実践的応用について紹介する。
  論文  参考訳（メタデータ） (2023-08-24T06:50:07Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)
• Evaluating Relaxations of Logic for Neural Networks: A Comprehensive Study [17.998891912502092]
  本稿では,ラベル付き例と問題に関する知識を表す論理的表現をいかに緩和するかという課題について考察する。 本稿では, 様々なシナリオにおいて, 緩和が果たす効果を評価できる理論的, 経験的基準を提案する。
  論文  参考訳（メタデータ） (2021-07-28T21:16:58Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Analyzing Differentiable Fuzzy Implications [3.4806267677524896]
  本研究では,ファジィ論理文からの含意が,異なる場面でどのように振る舞うかを考察する。 様々なファジィな含意が、最もよく知られているものも含めて、異なる学習環境での使用に非常に適していないことが判明した。 我々は,この現象に対処するために,新しいファジィ含意(sigmoidal含意(sigmoidal含意))を導入した。
  論文  参考訳（メタデータ） (2020-06-04T15:34:37Z)
• Analyzing Differentiable Fuzzy Logic Operators [3.4806267677524896]
  ファジィ論理文からの論理演算子の大規模な集合が、微分可能な学習環境でどのように振る舞うかを考察する。 半教師付き学習において微分可能なファジィ論理を用いることが可能であることを示し、実際に異なる演算子がどのように振る舞うかを比較する。
  論文  参考訳（メタデータ） (2020-02-14T16:11:36Z)
• T-Norms Driven Loss Functions for Machine Learning [19.569025323453257]
  ニューラルシンボリックアプローチのクラスは、事前の知識を表現するための一階述語論理に基づいている。 本稿では,これらのニューラルシンボリック学習タスクを表現する損失関数を曖昧に決定できることを示す。
  論文  参考訳（メタデータ） (2019-07-26T10:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。