論文の概要: Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation

• arxiv url: http://arxiv.org/abs/2309.07624v1
• Date: Thu, 14 Sep 2023 11:40:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 15:04:59.581919
• Title: Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation
• Title（参考訳）: 動的モジュール化推論による構成構造記述生成
• Authors: Xiyan Fu, Anette Frank
• Abstract要約: ニューラルネットワークの構成一般化を改善するために,動的モジュール化推論モデル MORSE を提案する。 MORSEは推論プロセスを、各モジュールが機能単位を表すモジュールの組み合わせに分解する。 MORSEの合成一般化能力をテストするため、2つのベンチマークで解析木の長さと形状を増大させる実験を行った。
• 参考スコア（独自算出の注目度）: 29.16040150962427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of neural models in solving reasoning tasks, their compositional generalization capabilities remain unclear. In this work, we propose a new setting of the structured explanation generation task to facilitate compositional reasoning research. Previous works found that symbolic methods achieve superior compositionality by using pre-defined inference rules for iterative reasoning. But these approaches rely on brittle symbolic transfers and are restricted to well-defined tasks. Hence, we propose a dynamic modularized reasoning model, MORSE, to improve the compositional generalization of neural models. MORSE factorizes the inference process into a combination of modules, where each module represents a functional unit. Specifically, we adopt modularized self-attention to dynamically select and route inputs to dedicated heads, which specializes them to specific functions. We conduct experiments for increasing lengths and shapes of reasoning trees on two benchmarks to test MORSE's compositional generalization abilities, and find it outperforms competitive baselines. Model ablation and deeper analyses show the effectiveness of dynamic reasoning modules and their generalization abilities.
• Abstract（参考訳）: 推論タスクの解法におけるニューラルモデルの成功にもかかわらず、その構成的一般化能力はいまだに不明である。 本研究では,構成的推論研究を容易にする構造的説明生成タスクの新たな設定を提案する。 先行研究は、反復的推論に事前定義された推論規則を用いることで、シンボリック手法が優れた構成性を達成することを発見した。 しかし、これらのアプローチは脆いシンボリックトランスファーに依存し、明確に定義されたタスクに制限される。 そこで我々は,ニューラルネットワークの構成一般化を改善するために,動的モジュラライズド推論モデルであるMORSEを提案する。 MORSEは推論プロセスを、各モジュールが機能単位を表すモジュールの組み合わせに分解する。 具体的には,特定の機能に特化する動的に入力を選択・ルーティングするために,モジュール化されたセルフアテンションを採用する。 我々は,MORSEの合成一般化能力をテストするために,2つのベンチマークで解析木の長さと形状を増大させる実験を行い,競争ベースラインを上回った。 モデルアブレーションとより深い解析は動的推論モジュールの有効性と一般化能力を示している。

関連論文リスト

• What makes Models Compositional? A Theoretical View: With Supplement [60.284698521569936]
  本稿では,構成関数の一般神経-記号的定義とその構成複雑性について述べる。 既存の汎用および特殊目的のシーケンス処理モデルがこの定義にどのように適合しているかを示し、それらを用いて構成複雑性を分析する。
  論文  参考訳（メタデータ） (2024-05-02T20:10:27Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers [72.04044221898059]
  ReasonFormerは、人間のモジュール的および構成的推論プロセスを反映するための統一的な推論フレームワークである。 表現モジュール(自動思考)と推論モジュール(制御思考)は、異なるレベルの認知を捉えるために切り離される。 統一された推論フレームワークは、単一のモデルで複数のタスクを解決し、エンドツーエンドでトレーニングされ、推論される。
  論文  参考訳（メタデータ） (2022-10-20T13:39:55Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Exploring End-to-End Differentiable Natural Logic Modeling [21.994060519995855]
  ニューラルネットワークに自然言語を統合する、エンドツーエンドでトレーニングされた差別化可能なモデルについて検討する。 提案モデルでは,モジュールネットワークを用いて自然言語操作をモデル化し,メモリコンポーネントで拡張してコンテキスト情報をモデル化する。
  論文  参考訳（メタデータ） (2020-11-08T18:18:15Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。