論文の概要: Implementing Derivations of Definite Logic Programs with Self-Attention Networks

• arxiv url: http://arxiv.org/abs/2410.11396v1
• Date: Tue, 15 Oct 2024 08:39:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:30.270632
• Title: Implementing Derivations of Definite Logic Programs with Self-Attention Networks
• Title（参考訳）: 自己注意ネットワークを用いた定値論理プログラムの導出
• Authors: Phan Thi Thanh Thuy, Akihiro Yamamoto,
• Abstract要約: 本稿では,論理推論の限定バージョンを自己注意型ネットワークで実装可能であることを示す。 フィードフォワードネットワーク(FFN)を用いた自己注意ネットワークの階層構造は,論理式のクラスに対してトップダウンの導出を実現できることを示す。
• 参考スコア（独自算出の注目度）: 1.104960878651584
• License:
• Abstract: In this paper we propose that a restricted version of logical inference can be implemented with self-attention networks. We are aiming at showing that LLMs (Large Language Models) constructed with transformer networks can make logical inferences. We would reveal the potential of LLMs by analyzing self-attention networks, which are main components of transformer networks. Our approach is not based on semantics of natural languages but operations of logical inference. %point of view. We show that hierarchical constructions of self-attention networks with feed forward networks (FFNs) can implement top-down derivations for a class of logical formulae. We also show bottom-up derivations are also implemented for the same class. We believe that our results show that LLMs implicitly have the power of logical inference.
• Abstract（参考訳）: 本稿では,論理推論の限定バージョンを自己注意型ネットワークで実装することを提案する。 変換器ネットワークで構築したLLM(Large Language Models)が論理的推論を実現できることを示すことを目的としている。 変圧器ネットワークの主成分である自己アテンションネットワークを解析し, LLM の可能性を明らかにする。 我々のアプローチは、自然言語の意味論ではなく、論理的推論の操作に基づいている。 %であった。 フィードフォワードネットワーク(FFN)を用いた自己注意ネットワークの階層構造は,論理式のクラスに対してトップダウンの導出を実現できることを示す。 また、ボトムアップの導出が同じクラスに実装されていることも示します。 この結果から,LLMには論理的推論の力があることが示唆された。

関連論文リスト

• Proof of Thought : Neurosymbolic Program Synthesis allows Robust and Interpretable Reasoning [1.3003982724617653]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、一貫性のない推論に苦戦している。 本研究では,LLM出力の信頼性と透明性を高めるフレームワークであるProof of Thoughtを紹介する。 主な貢献は、論理的整合性を高めるためのソート管理を備えた堅牢な型システム、事実的知識と推論的知識を明確に区別するための規則の明示である。
  論文  参考訳（メタデータ） (2024-09-25T18:35:45Z)
• LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
  大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。 近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
  論文  参考訳（メタデータ） (2024-01-17T08:22:52Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)
• Learning Language Representations with Logical Inductive Bias [19.842271716111153]
  より優れた言語表現学習のための新しい論理帰納バイアスについて検討する。 我々はこの新たな帰納バイアスを符号化するために、FOLNetという新しいニューラルネットワークを開発した。 変換器の自己アテンションモジュールは2つのニューラルロジック演算子によって構成できることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T02:21:32Z)
• Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer [59.73454783958702]
  本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。 特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。 変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
  論文  参考訳（メタデータ） (2022-10-06T07:39:58Z)
• Discourse-Aware Graph Networks for Textual Logical Reasoning [142.0097357999134]
  パッセージレベルの論理関係は命題単位間の係り合いまたは矛盾を表す(例、結論文) 論理的推論QAを解くための論理構造制約モデリングを提案し、談話対応グラフネットワーク(DAGN)を導入する。 ネットワークはまず、インラインの談話接続とジェネリック論理理論を利用した論理グラフを構築し、その後、エッジ推論機構を用いて論理関係を進化させ、グラフ機能を更新することで論理表現を学習する。
  論文  参考訳（メタデータ） (2022-07-04T14:38:49Z)
• PROTOtypical Logic Tensor Networks (PROTO-LTN) for Zero Shot Learning [2.236663830879273]
  論理ネットワーク(英: Logic Networks, LTN)は、ディープニューラルネットワークに根ざした微分可能な一階述語論理に基づくニューロシンボリックシステムである。 ここでは、ほとんどの意味的画像解釈タスクをエンコードする基本となるsubsumptionまたはtextttisOfClass述語に焦点を当てる。 本稿では,オブジェクト埋め込みと対応するクラスプロトタイプ間の距離の関数を真理レベルとする,共通のtextttisOfClass述語を提案する。
  論文  参考訳（メタデータ） (2022-06-26T18:34:07Z)
• LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
  本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。 人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。 LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
  論文  参考訳（メタデータ） (2022-05-18T08:46:49Z)
• Neuro-Symbolic Inductive Logic Programming with Logical Neural Networks [65.23508422635862]
  我々は最近提案された論理ニューラルネットワーク(LNN)を用いた学習規則を提案する。 他のものと比較して、LNNは古典的なブール論理と強く結びついている。 標準ベンチマークタスクの実験では、LNNルールが極めて解釈可能であることを確認した。
  論文  参考訳（メタデータ） (2021-12-06T19:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。