論文の概要: Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer

• arxiv url: http://arxiv.org/abs/2210.02729v2
• Date: Fri, 7 Oct 2022 04:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 10:21:49.695307
• Title: Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer
• Title（参考訳）: ジョインチェーンネットワーク:トランスフォーマーにおける多頭部注意の論理的推論ビュー
• Authors: Jianyi Zhang, Yiran Chen, Jianshu Chen
• Abstract要約: 本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。 特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。 変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
• 参考スコア（独自算出の注目度）: 59.73454783958702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing neural architectures that are capable of logical reasoning has become increasingly important for a wide range of applications (e.g., natural language processing). Towards this grand objective, we propose a symbolic reasoning architecture that chains many join operators together to model output logical expressions. In particular, we demonstrate that such an ensemble of join-chains can express a broad subset of ''tree-structured'' first-order logical expressions, named FOET, which is particularly useful for modeling natural languages. To endow it with differentiable learning capability, we closely examine various neural operators for approximating the symbolic join-chains. Interestingly, we find that the widely used multi-head self-attention module in transformer can be understood as a special neural operator that implements the union bound of the join operator in probabilistic predicate space. Our analysis not only provides a new perspective on the mechanism of the pretrained models such as BERT for natural language understanding but also suggests several important future improvement directions.
• Abstract（参考訳）: 論理的推論が可能なニューラルアーキテクチャの開発は、広範囲のアプリケーション(例えば自然言語処理)にとってますます重要になっている。 この大きな目的に向けて、多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。 特に,このような結合鎖のアンサンブルは,自然言語のモデリングに特に有用であるFOETという,'tree-structured'の1次論理式の広い部分集合を表現できることを実証する。 異なる学習能力を付与するために,記号結合鎖を近似する様々なニューラル演算子を精査する。 興味深いことに、変圧器で広く使われるマルチヘッド自己アテンションモジュールは、確率的述語空間における結合演算子の結合境界を実装する特別なニューラルネットワークとして理解することができる。 本分析は,自然言語理解のためのbertなどの事前学習モデルのメカニズムに関する新たな視点を提供するだけでなく,今後のいくつかの重要な改善方向性を示唆する。

関連論文リスト

• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• SNeL: A Structured Neuro-Symbolic Language for Entity-Based Multimodal Scene Understanding [0.0]
  SNeL(Structured Neuro-symbolic Language, 構造化ニューラルシンボリック言語)は,マルチモーダルデータを処理するニューラルネットワークとのニュアンスな相互作用を容易にする汎用的なクエリ言語である。 SNeLの表現的インターフェースは、複雑なクエリの構築、論理演算と算術演算子、コンパレータ、ネストなどをサポートする。 我々の評価は、SNeLが複雑なニューラルネットワークとの相互作用を形作る可能性を示している。
  論文  参考訳（メタデータ） (2023-06-09T17:01:51Z)
• Interpretable Multimodal Misinformation Detection with Logic Reasoning [40.851213962307206]
  本稿では,多モーダル誤情報検出のための論理モデルを提案する。 本稿では,意味のある論理節の自動生成と評価を容易にするニューラル表現を用いた記号論理要素のパラメータ化を行う。 3つの公開データセットの結果は、我々のモデルの有効性と汎用性を示している。
  論文  参考訳（メタデータ） (2023-05-10T08:16:36Z)
• Learning Language Representations with Logical Inductive Bias [19.842271716111153]
  より優れた言語表現学習のための新しい論理帰納バイアスについて検討する。 我々はこの新たな帰納バイアスを符号化するために、FOLNetという新しいニューラルネットワークを開発した。 変換器の自己アテンションモジュールは2つのニューラルロジック演算子によって構成できることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T02:21:32Z)
• LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
  本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。 人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。 LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
  論文  参考訳（メタデータ） (2022-05-18T08:46:49Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Discrete-Valued Neural Communication [85.3675647398994]
  コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。 個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。 我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
  論文  参考訳（メタデータ） (2021-07-06T03:09:25Z)
• Logic Tensor Networks [9.004005678155023]
  学習と推論をサポートする神経シンボリック形式論と計算モデルであるLogic Networks(LTN)を提示する。 LTNがいくつかのAIタスクの仕様と計算に一様言語を提供することを示す。
  論文  参考訳（メタデータ） (2020-12-25T22:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。