論文の概要: A Primer for Neural Arithmetic Logic Modules

• arxiv url: http://arxiv.org/abs/2101.09530v2
• Date: Mon, 8 Aug 2022 15:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 04:15:28.982354
• Title: A Primer for Neural Arithmetic Logic Modules
• Title（参考訳）: 神経算術論理モジュールのためのプライマー
• Authors: Bhumika Mistry, Katayoun Farrahi and Jonathon Hare
• Abstract要約: 本論文は,本分野の進展状況について論じる最初のものである。 NALUの欠点に着目して、最近のモジュールの設計選択を深く分析する。 既存の不整合を緩和するために、既存の算術NALMを比較したベンチマークを作成する。
• 参考スコア（独自算出の注目度）: 2.4278445972594525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Arithmetic Logic Modules have become a growing area of interest, though remain a niche field. These modules are neural networks which aim to achieve systematic generalisation in learning arithmetic and/or logic operations such as $\{+, -, \times, \div, \leq, \textrm{AND}\}$ while also being interpretable. This paper is the first in discussing the current state of progress of this field, explaining key works, starting with the Neural Arithmetic Logic Unit (NALU). Focusing on the shortcomings of the NALU, we provide an in-depth analysis to reason about design choices of recent modules. A cross-comparison between modules is made on experiment setups and findings, where we highlight inconsistencies in a fundamental experiment causing the inability to directly compare across papers. To alleviate the existing inconsistencies, we create a benchmark which compares all existing arithmetic NALMs. We finish by providing a novel discussion of existing applications for NALU and research directions requiring further exploration.
• Abstract（参考訳）: ニューラル算術論理モジュールは、ニッチな分野であるにもかかわらず、関心が高まりつつある。 これらのモジュールは、算術および/または論理演算($\{+, -, \times, \div, \leq, \textrm{AND}\}$)の学習における体系的な一般化の実現を目的としたニューラルネットワークである。 本稿では,神経算術論理ユニット(neural arithmetic logic unit, nalu)を出発点として,この分野の進歩の現況について論じる最初の例である。 naluの欠点に注目して,最近のモジュールの設計選択を判断するための詳細な分析を行う。 モジュール間の相互比較は実験のセットアップと知見に基づいて行われ、論文間で直接比較できない基本的な実験の矛盾を強調する。 既存の不整合を緩和するために、既存の算術NALMを比較したベンチマークを作成する。 我々は、NALUの既存の応用とさらなる探査を必要とする研究の方向性について、新しい議論を行うことで、仕上げる。

関連論文リスト

• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• logLTN: Differentiable Fuzzy Logic in the Logarithm Space [11.440949097704943]
  文学におけるトレンドは、論理記号とニューラルネットワークとファジィ意味論を接地することで、損失関数の公理と事実を統合することである。 本稿では,対数空間の終端を基底とするファジィ演算子の構成について述べる。 以上の結果から,提案した構成が現状よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-06-26T09:39:05Z)
• Teaching Neural Module Networks to Do Arithmetic [54.06832128723388]
  インタプリタと複雑な問題の間のギャップを埋めることで、NMNをアップグレードする。 数値的推論を行う加法加法および減算加法を導入する。 DROPのサブセットでは,提案手法によりNMNの数値推論能力が17.7%向上した。
  論文  参考訳（メタデータ） (2022-10-06T06:38:04Z)
• Linear Temporal Logic Modulo Theories over Finite Traces (Extended Version) [72.38188258853155]
  有限トレース(LTLf)上の線形時間論理について検討する。 命題の文字は任意の理論で解釈された一階述語式に置き換えられる。 Satisfiability Modulo Theories (LTLfMT) と呼ばれる結果の論理は半決定可能である。
  論文  参考訳（メタデータ） (2022-04-28T17:57:33Z)
• Neural Sequence-to-grid Module for Learning Symbolic Rules [14.946594806351971]
  入力シーケンスを自動的にグリッドに分割して整列する入力プリプロセッサであるニューラルシーケンス・ツー・グリッド(seq2grid)モジュールを提案する。 私たちのモジュールは、新しい微分可能なマッピングを介してグリッドを出力するため、ResNetやTextCNNなどのグリッド入力を取るニューラルネットワーク構造は、モジュールと共同でトレーニングすることができます。
  論文  参考訳（メタデータ） (2021-01-13T07:53:14Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)
• iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
  最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。 本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-17T10:37:22Z)
• Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
  グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。 ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。 モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
  論文  参考訳（メタデータ） (2020-03-14T05:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。