論文の概要: Weakly Supervised Neuro-Symbolic Module Networks for Numerical Reasoning

• arxiv url: http://arxiv.org/abs/2101.11802v1
• Date: Thu, 28 Jan 2021 03:36:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 00:04:20.725188
• Title: Weakly Supervised Neuro-Symbolic Module Networks for Numerical Reasoning
• Title（参考訳）: 数値推論のための弱改良型ニューロシンボリックモジュールネットワーク
• Authors: Amrita Saha, Shafiq Joty, Steven C.H. Hoi
• Abstract要約: Weakly-Supervised Neuro-Symbolic Module Network (WNSMN)を提案する。 クエリの依存性解析から得られたノイズの多いMRCプログラムを、ニューラルおよびシンボリック推論モジュールの両方に対する離散的なアクションとして実行し、応答マッチングからの離散的な報酬で強化学習フレームワークでエンドツーエンドにトレーニングする。 これは、ノイズの多いプログラムに対する明示的な離散的推論をエンドツーエンドで処理できるモジュラーネットワークの有効性と一般化性を示す。
• 参考スコア（独自算出の注目度）: 44.5641465035393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Module Networks (NMNs) have been quite successful in incorporating explicit reasoning as learnable modules in various question answering tasks, including the most generic form of numerical reasoning over text in Machine Reading Comprehension (MRC). However, to achieve this, contemporary NMNs need strong supervision in executing the query as a specialized program over reasoning modules and fail to generalize to more open-ended settings without such supervision. Hence we propose Weakly-Supervised Neuro-Symbolic Module Network (WNSMN) trained with answers as the sole supervision for numerical reasoning based MRC. It learns to execute a noisy heuristic program obtained from the dependency parsing of the query, as discrete actions over both neural and symbolic reasoning modules and trains it end-to-end in a reinforcement learning framework with discrete reward from answer matching. On the numerical-answer subset of DROP, WNSMN out-performs NMN by 32% and the reasoning-free language model GenBERT by 8% in exact match accuracy when trained under comparable weak supervised settings. This showcases the effectiveness and generalizability of modular networks that can handle explicit discrete reasoning over noisy programs in an end-to-end manner.
• Abstract（参考訳）: ニューラルモジュールネットワーク(nmns)は,マシンリーディング理解(mrc)におけるテキスト上の数値推論の最も一般的な形式を含む,さまざまな質問応答タスクにおいて,学習可能なモジュールとして明示的な推論を取り入れることに成功している。 しかし、これを実現するには、現代のNMNは、モジュールの推論に関する特別なプログラムとしてクエリを実行する上で強力な監督を必要とし、そのような監督なしによりオープンエンドの設定に一般化できない。 そこで本研究では,数値推論に基づくMRCのための唯一の監視手法として,WNSMN(Weakly Supervised Neuro-Symbolic Module Network)を提案する。 クエリの依存性解析から得られたノイズの多いヒューリスティックプログラムを、ニューラルおよびシンボリック推論モジュールの両方に対する離散的なアクションとして実行し、応答マッチングからの離散的な報酬で強化学習フレームワークでエンドツーエンドにトレーニングする。 DROPの数値回答サブセットでは、WNSMNはNMNを32%上回り、推論自由言語モデルGenBERTは、同等の弱い教師付き設定下でトレーニングされた場合、正確なマッチング精度を8%上回る。 これは、ノイズの多いプログラムに対する明示的な離散的推論をエンドツーエンドで処理できるモジュラーネットワークの有効性と一般化性を示す。

関連論文リスト

• Multimodal Representations for Teacher-Guided Compositional Visual Reasoning [0.0]
  NMNは統合モデルと比較して説明性の向上を提供する。 本稿では,大規模なクロスモーダルエンコーダによって得られた特徴を活用することを提案する。 スケジュールされた教師指導を含むNMN学習戦略を導入する。
  論文  参考訳（メタデータ） (2023-10-24T07:51:08Z)
• Mastering Symbolic Operations: Augmenting Language Models with Compiled Neural Networks [48.14324895100478]
  ニューラルアーキテクチャ」は、コンパイルされたニューラルネットワーク(CoNN)を標準変換器に統合する。 CoNNは、人工的に生成された注意重みを通してルールを明示的にエンコードするように設計されたニューラルネットワークモジュールである。 実験は,シンボル操作における長さ一般化,効率,解釈可能性の観点から,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-04T09:50:07Z)
• Logical Message Passing Networks with One-hop Inference on Atomic Formulas [57.47174363091452]
  本稿では,ニューラルネットワーク演算子から知識グラフの埋め込みを分解する,複雑な問合せ応答のためのフレームワークを提案する。 クエリグラフの上に、局所的な原子式上のワンホップ推論とグローバル論理的推論を結びつける論理メッセージパッシングニューラルネットワーク(LMPNN)を提案する。 我々のアプローチは、最先端のニューラルCQAモデルをもたらす。
  論文  参考訳（メタデータ） (2023-01-21T02:34:06Z)
• Teaching Neural Module Networks to Do Arithmetic [54.06832128723388]
  インタプリタと複雑な問題の間のギャップを埋めることで、NMNをアップグレードする。 数値的推論を行う加法加法および減算加法を導入する。 DROPのサブセットでは,提案手法によりNMNの数値推論能力が17.7%向上した。
  論文  参考訳（メタデータ） (2022-10-06T06:38:04Z)
• How Modular Should Neural Module Networks Be for Systematic Generalization? [4.533408938245526]
  NMNは、サブタスクに取り組むモジュールの合成を通じて、ビジュアル質問回答(VQA)を目指している。 本稿では,モジュラリティが定義される段階と程度が,体系的な一般化に大きな影響を与えることを示す。
  論文  参考訳（メタデータ） (2021-06-15T14:13:47Z)
• Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning [73.00049753292316]
  本稿では,意味解析と推論に基づくニューロシンボリック質問回答システムを提案する。 NSQAはQALD-9とLC-QuAD 1.0で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-12-03T05:17:55Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。