論文の概要: Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer

• arxiv url: http://arxiv.org/abs/2210.02729v1
• Date: Thu, 6 Oct 2022 07:39:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:23:12.397638
• Title: Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer
• Title（参考訳）: ジョインチェーンネットワーク:トランスフォーマーにおける多頭部注意の論理的推論ビュー
• Authors: Jianyi Zhang, Yiran Chen, Jianshu Chen
• Abstract要約: 本稿ではまず,自然言語のモデリングに特に有用であるFOETをチェーンするシンボリック推論アーキテクチャを提案する。 識別可能な学習能力を付与するために,記号結合鎖を近似するための様々なニューラル演算子を精査する。 変換器における多頭部自己保持モジュールは、結合演算子の結合境界を実装する特別なニューラル演算子として理解することができる。
• 参考スコア（独自算出の注目度）: 59.73454783958702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing neural architectures that are capable of logical reasoning has become increasingly important for a wide range of applications (e.g., natural language processing). Towards this grand objective, we first propose a symbolic reasoning architecture that chain FOET, which is particularly useful for modeling natural languages. To endow it with differentiable learning capability, we closely examine various neural operators for approximating the symbolic join-chains. Interestingly, we find that the widely used multi-head self-attention module in transformer can be understood as a special neural operator that implements the union bound of the join operator in probabilistic predicate space. Our analysis not only provides a new perspective on the mechanism of the pretrained models such as BERT for natural language understanding, but also suggests several important future improvement directions.
• Abstract（参考訳）: 論理的推論が可能なニューラルアーキテクチャの開発は、広範囲のアプリケーション(例えば自然言語処理)にとってますます重要になっている。 この大目的に向けて、我々はまず、特に自然言語のモデリングに有用なFOETをチェーンするシンボリック推論アーキテクチャを提案する。 異なる学習能力を付与するために,記号結合鎖を近似する様々なニューラル演算子を精査する。 興味深いことに、変圧器で広く使われるマルチヘッド自己アテンションモジュールは、確率的述語空間における結合演算子の結合境界を実装する特別なニューラルネットワークとして理解することができる。 我々の分析は、自然言語理解のためのBERTのような事前学習モデルのメカニズムの新しい視点を提供するだけでなく、いくつかの重要な改善方向も示唆している。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• SNeL: A Structured Neuro-Symbolic Language for Entity-Based Multimodal Scene Understanding [0.0]
  SNeL(Structured Neuro-symbolic Language, 構造化ニューラルシンボリック言語)は,マルチモーダルデータを処理するニューラルネットワークとのニュアンスな相互作用を容易にする汎用的なクエリ言語である。 SNeLの表現的インターフェースは、複雑なクエリの構築、論理演算と算術演算子、コンパレータ、ネストなどをサポートする。 我々の評価は、SNeLが複雑なニューラルネットワークとの相互作用を形作る可能性を示している。
  論文  参考訳（メタデータ） (2023-06-09T17:01:51Z)
• Interpretable Multimodal Misinformation Detection with Logic Reasoning [40.851213962307206]
  本稿では,多モーダル誤情報検出のための論理モデルを提案する。 本稿では,意味のある論理節の自動生成と評価を容易にするニューラル表現を用いた記号論理要素のパラメータ化を行う。 3つの公開データセットの結果は、我々のモデルの有効性と汎用性を示している。
  論文  参考訳（メタデータ） (2023-05-10T08:16:36Z)
• Learning Language Representations with Logical Inductive Bias [19.842271716111153]
  より優れた言語表現学習のための新しい論理帰納バイアスについて検討する。 我々はこの新たな帰納バイアスを符号化するために、FOLNetという新しいニューラルネットワークを開発した。 変換器の自己アテンションモジュールは2つのニューラルロジック演算子によって構成できることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T02:21:32Z)
• LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
  本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。 人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。 LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
  論文  参考訳（メタデータ） (2022-05-18T08:46:49Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Logic Tensor Networks [9.004005678155023]
  学習と推論をサポートする神経シンボリック形式論と計算モデルであるLogic Networks(LTN)を提示する。 LTNがいくつかのAIタスクの仕様と計算に一様言語を提供することを示す。
  論文  参考訳（メタデータ） (2020-12-25T22:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。