論文の概要: Enhancing Transformers for Generalizable First-Order Logical Entailment

• arxiv url: http://arxiv.org/abs/2501.00759v1
• Date: Wed, 01 Jan 2025 07:05:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:52.109432
• Title: Enhancing Transformers for Generalizable First-Order Logical Entailment
• Title（参考訳）: 一般化可能な1次論理エンターメントのための変換器の強化
• Authors: Tianshi Zheng, Jiazheng Wang, Zihao Wang, Jiaxin Bai, Hang Yin, Zheye Deng, Yangqiu Song, Jianxin Li,
• Abstract要約: 本稿では,変圧器のパラメータ化知識を用いた一階論理推論能力について検討する。 変圧器の1次推論能力は、その1次論理的推論を実行する能力を通じて評価される。 変換器における一階述語論理包含を一般化する能力を高めるため,より洗練された論理型アーキテクチャTEGAを提案する。
• 参考スコア（独自算出の注目度）: 51.04944136538266
• License:
• Abstract: Transformers, as a fundamental deep learning architecture, have demonstrated remarkable capabilities in reasoning. This paper investigates the generalizable first-order logical reasoning ability of transformers with their parameterized knowledge and explores ways to improve it. The first-order reasoning capability of transformers is assessed through their ability to perform first-order logical entailment, which is quantitatively measured by their performance in answering knowledge graph queries. We establish connections between (1) two types of distribution shifts studied in out-of-distribution generalization and (2) the unseen knowledge and query settings discussed in the task of knowledge graph query answering, enabling a characterization of fine-grained generalizability. Results on our comprehensive dataset show that transformers outperform previous methods specifically designed for this task and provide detailed empirical evidence on the impact of input query syntax, token embedding, and transformer architectures on the reasoning capability of transformers. Interestingly, our findings reveal a mismatch between positional encoding and other design choices in transformer architectures employed in prior practices. This discovery motivates us to propose a more sophisticated, logic-aware architecture, TEGA, to enhance the capability for generalizable first-order logical entailment in transformers.
• Abstract（参考訳）: トランスフォーマーは、基本的なディープラーニングアーキテクチャとして、推論において顕著な能力を示してきた。 本稿では,変圧器のパラメータ化知識を用いた一階述語論理推論能力について検討し,その改善方法について検討する。 変圧器の1次推論能力は、知識グラフクエリの応答性能によって定量的に測定される1次論理的エンターテイメントを実行する能力によって評価される。 我々は,(1)分布外一般化において研究された2種類の分布シフトと(2)知識グラフクエリ応答のタスクで議論された未知の知識とクエリ設定との接続を確立し,微粒な一般化性の評価を可能にする。 その結果, トランスフォーマーは, このタスク用に設計された従来手法よりも優れており, 入力クエリ構文, トークン埋め込み, トランスフォーマーアーキテクチャがトランスフォーマーの推論能力に与える影響について, 詳細な実証結果が得られた。 興味深いことに,本研究では,従来の手法を用いたトランスフォーマーアーキテクチャにおいて,位置符号化と他の設計選択のミスマッチが明らかになった。 この発見は、変換器における一階述語論理包含を一般化する能力を高めるため、より洗練された論理対応アーキテクチャTEGAを提案する動機となっている。

関連論文リスト

• Converting Transformers into DGNNs Form [7.441691512676916]
  ダイグラフフーリエ変換に基づく合成ユニタリグラフ畳み込みを導入する。 Converterと呼ぶ結果のモデルは、トランスフォーマーをダイレクトグラフニューラルネットワーク形式に効果的に変換する。 我々は、Long-Range Arenaベンチマーク、Long-Range Arena分類、DNAシークエンスに基づく分類でConverterを検証した。
  論文  参考訳（メタデータ） (2025-02-01T22:44:46Z)
• Unraveling the Gradient Descent Dynamics of Transformers [37.096572564254515]
  グラディエント・Descent (GD) は、特に入力埋め込み次元が大きい場合、大域的最適解を達成するためにトランスフォーマーモデルを訓練することができる。 ソフトマックスとガウスアテンションカーネルを用いて単一トランスフォーマー層の損失状況を分析する。
  論文  参考訳（メタデータ） (2024-11-12T04:33:56Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization [22.033370572209744]
  我々は、トランスフォーマーがパラメトリック知識よりも暗黙的に推論できるかどうかを研究する。 我々は2つの代表的な推論タイプ、構成と比較に焦点を当てる。 トランスフォーマーは暗黙の推論を学習できるが、それはグルーキングでしか学べない。
  論文  参考訳（メタデータ） (2024-05-23T21:42:19Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
  変圧器は自己注意を用いて対関係を抽出することができる。 優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。 Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。 TokenPropの正規化対象は、標準トレーニング体制で採用されている。
  論文  参考訳（メタデータ） (2022-12-21T15:51:43Z)
• Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks [6.525090891505941]
  我々は、因果変換器が、コピー、ソート、階層的な構成を含む一連のアルゴリズムタスクを実行する方法を示す。 両層変換器は多層問題に対する一般化可能な解法を学習し,系統的タスク分解の兆候を現示する。 これらの結果は、トランスフォーマーモデルが複雑な決定を再利用可能なマルチレベルポリシーに分解する方法について、重要な洞察を与えてくれる。
  論文  参考訳（メタデータ） (2022-10-02T00:46:36Z)
• Mask and Reason: Pre-Training Knowledge Graph Transformers for Complex Logical Queries [36.22117601006972]
  マスク付き事前学習と微調整を併用した知識グラフ変換器(kgTransformer)を提案する。 kgTransformerは、9つのドメイン内およびドメイン外推論タスクにおいて、KG埋め込みベースのベースラインと高度なエンコーダの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2022-08-16T09:51:26Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。