論文の概要: Learning Representations for Reasoning: Generalizing Across Diverse Structures

• arxiv url: http://arxiv.org/abs/2410.13018v1
• Date: Wed, 16 Oct 2024 20:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:22:59.983718
• Title: Learning Representations for Reasoning: Generalizing Across Diverse Structures
• Title（参考訳）: 推論のための学習表現:多言語構造を一般化する
• Authors: Zhaocheng Zhu,
• Abstract要約: 我々は、知識とクエリ構造をまたいだアルゴリズムを考案し、推論モデルの境界を推し進めることを目指している。 図書館は構造化データを第一級市民として扱い,構造化データのアルゴリズム開発における障壁を取り除く。
• 参考スコア（独自算出の注目度）: 5.031093893882575
• License:
• Abstract: Reasoning, the ability to logically draw conclusions from existing knowledge, is a hallmark of human. Together with perception, they constitute the two major themes of artificial intelligence. While deep learning has pushed the limit of perception beyond human-level performance, the progress in reasoning domains is way behind. One fundamental reason is that reasoning problems usually have flexible structures for both knowledge and queries, and many existing models only perform well on structures seen during training. Here we aim to push the boundary of reasoning models by devising algorithms that generalize across knowledge and query structures, as well as systems that accelerate development on structured data. This thesis consists of three parts. In Part I, we study models that can inductively generalize to unseen knowledge graphs with new entity and relation vocabularies. For new entities, we propose a framework that learns neural operators in a dynamic programming algorithm computing path representations. For relations, we construct a relation graph to capture the interactions between relations, thereby converting new relations into new entities. In Part II, we propose two solutions for generalizing across multi-step queries on knowledge graphs and text respectively. For knowledge graphs, we show that multi-step queries can be solved by multiple calls of graph neural networks and fuzzy logic operations. For text, we devise an algorithm to learn explicit knowledge as textual rules to improve large language models on multi-step queries. In Part III, we propose two systems to facilitate machine learning development on structured data. Our library treats structured data as first-class citizens and removes the barrier for developing algorithms on structured data. Our node embedding system solves the GPU memory bottleneck of embedding matrices and scales to graphs with billion nodes.
• Abstract（参考訳）: 推論(Reasoning)は、既存の知識から論理的に結論を引き出す能力であり、人間の目印である。 知覚とともに、それらは人工知能の2つの主要なテーマを構成する。 ディープラーニングは人間レベルのパフォーマンス以上の知覚の限界を押し上げてきたが、推論ドメインの進歩ははるかに遅れている。 根本的な理由の1つは、推論問題は通常、知識とクエリの両方に対して柔軟な構造を持ち、既存のモデルの多くは、トレーニング中に見られる構造に対してのみうまく機能するからである。 ここでは、知識やクエリ構造を一般化するアルゴリズムを考案し、構造化データの開発を加速するシステムを構築することにより、推論モデルの境界を推し進めることを目的としている。 この論文は三部構成である。 パートIでは、新しい実体と関係語彙を持つ未知の知識グラフに誘導的に一般化できるモデルについて検討する。 そこで我々は,経路表現を動的に計算するアルゴリズムにおいて,ニューラル演算子を学習するフレームワークを提案する。 関係性のために、関係間の相互作用を捉える関係グラフを構築し、それによって新しい関係を新しい実体に変換する。 パートIIでは、知識グラフとテキスト上での多段階クエリを一般化する2つの方法を提案する。 知識グラフに対しては,グラフニューラルネットワークとファジィ論理演算を複数呼び出すことで,マルチステップクエリを解くことができることを示す。 テキストに対して,多段階クエリの大規模言語モデルを改善するために,テキストルールとして明示的な知識を学習するアルゴリズムを考案する。 パートIIIでは,構造化データを用いた機械学習開発を支援する2つのシステムを提案する。 図書館は構造化データを第一級市民として扱い,構造化データのアルゴリズム開発における障壁を取り除く。 我々のノード埋め込みシステムは、埋め込み行列のGPUメモリボトルネックを解決し、数十億ノードのグラフにスケールする。

関連論文リスト

• Konstruktor: A Strong Baseline for Simple Knowledge Graph Question Answering [60.6042489577575]
  Konstruktor - 問題を3つのステップに分割する,効率的で堅牢なアプローチ。 我々のアプローチは言語モデルと知識グラフを統合し、前者の力と後者の解釈可能性を活用する。 関係検出において、ワークフローの最も困難なステップとして、関係分類・生成とランク付けの組み合わせが、他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-24T09:19:11Z)
• G-SAP: Graph-based Structure-Aware Prompt Learning over Heterogeneous Knowledge for Commonsense Reasoning [8.02547453169677]
  本稿では,G-SAP という名称のコモンセンス推論のためのグラフベース構造認識プロンプト学習モデルを提案する。 特にエビデンスグラフは、ConceptNet、Wikipedia、Cambridge Dictionaryといった複数の知識ソースを統合することで構築される。 その結果、既存のモデル、特にOpenbookQAデータセット上のSoTA LM+GNNsモデルよりも6.12%改善された。
  論文  参考訳（メタデータ） (2024-05-09T08:28:12Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Breaking the Curse of Dimensionality in Deep Neural Networks by Learning Invariant Representations [1.9580473532948401]
  この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。 ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。 本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
  論文  参考訳（メタデータ） (2023-10-24T19:50:41Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• GreaseLM: Graph REASoning Enhanced Language Models for Question Answering [159.9645181522436]
  GreaseLMは、事前訓練されたLMとグラフニューラルネットワークの符号化された表現を、複数の層にわたるモダリティ相互作用操作で融合する新しいモデルである。 GreaseLMは、状況制約と構造化知識の両方の推論を必要とする問題に、より確実に答えることができる。
  論文  参考訳（メタデータ） (2022-01-21T19:00:05Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Entity Context Graph: Learning Entity Representations fromSemi-Structured Textual Sources on the Web [44.92858943475407]
  エンティティ中心のテキスト知識ソースを処理してエンティティ埋め込みを学ぶアプローチを提案する。 私たちのアプローチから学んだ埋め込みは、(i)高品質で、既知の知識グラフベースの埋め込みに匹敵し、それらをさらに改善するために使用することができます。
  論文  参考訳（メタデータ） (2021-03-29T20:52:14Z)
• Exploiting Contextual Information with Deep Neural Networks [5.787117733071416]
  文脈情報は、暗黙的かつ明示的な2つの根本的に異なる方法で活用できることを示します。 この論文では、文脈情報を2つの根本的に異なる方法で活用できることを示し、暗黙的かつ明示的に示す。
  論文  参考訳（メタデータ） (2020-06-21T03:40:30Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。