論文の概要: Not All Neuro-Symbolic Concepts Are Created Equal: Analysis and Mitigation of Reasoning Shortcuts

• arxiv url: http://arxiv.org/abs/2305.19951v1
• Date: Wed, 31 May 2023 15:35:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 15:43:58.037931
• Title: Not All Neuro-Symbolic Concepts Are Created Equal: Analysis and Mitigation of Reasoning Shortcuts
• Title（参考訳）: すべてのニューロシンボリック概念が等しく作られるわけではない:推論ショートカットの分析と緩和
• Authors: Emanuele Marconato, Stefano Teso, Antonio Vergari, Andrea Passerini
• Abstract要約: Neuro-Symbolic(NeSy)予測モデルは、与えられた制約に対するコンプライアンスの改善を約束する。 サブシンボリック入力から抽出された高レベルな概念を推論することで、いくつかの先行知識と整合したラベルを推論することができる。 精度は高いが、意図しないセマンティクスで概念を活用すれば、約束された利点を欠くことになる。
• 参考スコア（独自算出の注目度）: 27.58056327793312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuro-Symbolic (NeSy) predictive models hold the promise of improved compliance with given constraints, systematic generalization, and interpretability, as they allow to infer labels that are consistent with some prior knowledge by reasoning over high-level concepts extracted from sub-symbolic inputs. It was recently shown that NeSy predictors are affected by reasoning shortcuts: they can attain high accuracy but by leveraging concepts with unintended semantics, thus coming short of their promised advantages. Yet, a systematic characterization of reasoning shortcuts and of potential mitigation strategies is missing. This work fills this gap by characterizing them as unintended optima of the learning objective and identifying four key conditions behind their occurrence. Based on this, we derive several natural mitigation strategies, and analyze their efficacy both theoretically and empirically. Our analysis shows reasoning shortcuts are difficult to deal with, casting doubts on the trustworthiness and interpretability of existing NeSy solutions.
• Abstract（参考訳）: ニューロシンボリック(nesy)予測モデルは、サブシンボリック入力から抽出されたハイレベルな概念を推論することで、いくつかの事前知識と一致するラベルを推論できるため、与えられた制約、体系的な一般化、解釈可能性へのコンプライアンスの改善を約束している。 高い精度を達成することができるが、意図しないセマンティクスを持つ概念を活用することで、約束された利点を欠くことができる。 しかし、推論ショートカットと潜在的な緩和戦略の体系的な特徴が欠けている。 この研究は、学習対象の意図しない最適性を特徴付け、その発生の背後にある4つの重要な条件を特定することで、このギャップを埋める。 そこで我々は,いくつかの自然緩和戦略を導出し,その効果を理論的・実証的に分析する。 我々の分析は、既存のNeSyソリューションの信頼性と解釈可能性に疑問を呈し、ショートカットの理由付けが難しいことを示している。

関連論文リスト

• On the Independence Assumption in Neurosymbolic Learning [14.447011414006719]
  最先端のニューロシンボリック学習システムは確率論的推論を用いて、ニューラルネットワークを記号に対する論理的制約に従う予測へと導く。 このようなシステムの多くは、学習と推論を簡略化するために入力が与えられた場合、考慮されたシンボルの確率は条件的に独立であると仮定している。
  論文  参考訳（メタデータ） (2024-04-12T13:09:48Z)
• BEARS Make Neuro-Symbolic Models Aware of their Reasoning Shortcuts [21.743306538494043]
  Reasoning ShortcutsはNeuro-Symbolic(NeSy)予測に影響を及ぼす可能性がある。 彼らは意図しない意味論を活用することによって、象徴的な知識と整合した概念を学ぶ。 我々はNeSyモデルが学習した概念の意味的あいまいさを確実に認識することを提案する。
  論文  参考訳（メタデータ） (2024-02-19T15:54:36Z)
• Neuro-Symbolic Reasoning Shortcuts: Mitigation Strategies and their Limitations [23.7625973884849]
  ニューロシンボリック予測子は、サブシンボリック入力から高レベルの概念へのマッピングを学び、この中間表現に対して(確率的な)論理的推論を実行する。 この設定は、知識に従うことによって、学習された概念が人間の利害関係者によってよりよく理解されるように、解釈可能性の利点をもたらすとしばしば信じられている。 しかし,近年,意図しないセマンティクスを用いた概念の活用により,予測精度が向上するショートカットの推論によって,この設定が影響を受けることが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-22T14:03:23Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Neuro-Symbolic Continual Learning: Knowledge, Reasoning Shortcuts and Concept Rehearsal [26.999987105646966]
  本稿では,ニューロシンボリック連続学習(Neuro-Symbolic Continual Learning)を紹介する。 私たちのキーとなる観察は、ニューロシンボリックなタスクは異なるものの、意味論が時間とともに安定している概念を共有していることです。 ニューロシンボリックアーキテクチャと継続的な戦略を組み合わせることで、先行知識を活用することで、破滅的な忘れを回避できることが示される。
  論文  参考訳（メタデータ） (2023-02-02T17:24:43Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Towards falsifiable interpretability research [7.360807642941714]
  我々は、解釈可能性の研究は直観に基づくアプローチへの過度な依存に悩まされていると論じる。 本稿では,解釈可能性手法の2つの一般的なクラスについて検討する。 本稿では,これらの障害に対処する戦略を,強虚な解釈可能性研究のための枠組みとして提案する。
  論文  参考訳（メタデータ） (2020-10-22T22:03:41Z)
• Logical Neural Networks [51.46602187496816]
  ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。 すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。 推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
  論文  参考訳（メタデータ） (2020-06-23T16:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。