論文の概要: Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network

• arxiv url: http://arxiv.org/abs/2402.11518v1
• Date: Sun, 18 Feb 2024 09:21:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 20:48:01.333350
• Title: Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network
• Title（参考訳）: 異種情報ネットワークにおける大規模言語モデル駆動型メタ構造発見
• Authors: Lin Chen, Fengli Xu, Nian Li, Zhenyu Han, Meng Wang, Yong Li, Pan Hui
• Abstract要約: 不均一情報ネットワーク(HIN)は、多様なタイプのノード間の複雑な関係を捉えることで人気が高まっている。 これまでの努力は、説明可能性を見越して、優れた経験的予測性能を持つメタ構造を探すことに集中していた。 本稿では,LLM推論を進化過程に統合したReasoning meta-STRUCTure search(ReStruct)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 30.611083354562016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heterogeneous information networks (HIN) have gained increasing popularity for being able to capture complex relations between nodes of diverse types. Meta-structure was proposed to identify important patterns of relations on HIN, which has been proven effective for extracting rich semantic information and facilitating graph neural networks to learn expressive representations. However, hand-crafted meta-structures pose challenges for scaling up, which draws wide research attention for developing automatic meta-structure search algorithms. Previous efforts concentrate on searching for meta-structures with good empirical prediction performance, overlooking explainability. Thus, they often produce meta-structures prone to overfitting and incomprehensible to humans. To address this, we draw inspiration from the emergent reasoning abilities of large language models (LLMs). We propose a novel REasoning meta-STRUCTure search (ReStruct) framework that integrates LLM reasoning into the evolutionary procedure. ReStruct uses a grammar translator to encode meta-structures into natural language sentences, and leverages the reasoning power of LLMs to evaluate semantically feasible meta-structures. ReStruct also employs performance-oriented evolutionary operations. These two competing forces jointly optimize for semantic explainability and empirical performance of meta-structures. We also design a differential LLM explainer that can produce natural language explanations for the discovered meta-structures, and refine the explanation by reasoning through the search history. Experiments on five datasets demonstrate ReStruct achieve SOTA performance in node classification and link recommendation tasks. Additionally, a survey study involving 73 graduate students shows that the meta-structures and natural language explanations generated by ReStruct are substantially more comprehensible.
• Abstract（参考訳）: 不均一情報ネットワーク(HIN)は、多様なタイプのノード間の複雑な関係を捉えることができることで人気が高まっている。 メタ構造は、豊かな意味情報を抽出し、グラフニューラルネットワークが表現表現を学ぶのに有効であることが証明されたHINに関する重要な関係パターンを特定するために提案された。 しかし,手作りのメタ構造はスケールアップの難しさを招き,自動メタ構造探索アルゴリズムの開発に広く研究されている。 以前の取り組みは、説明可能性を見越して、経験的予測性能の優れたメタ構造を探索することに集中していた。 したがって、それらはしばしば、過度に適合し、人間には理解できないメタ構造を生み出す。 これに対処するため、私たちは大言語モデル(llm)の創発的な推論能力からインスピレーションを得ます。 本稿では,LLM推論を進化過程に統合したReasoning meta-STRUCTure search(ReStruct)フレームワークを提案する。 ReStructは文法トランスレータを使用して、メタ構造を自然言語文にエンコードし、LLMの推論能力を利用して意味論的に可能なメタ構造を評価する。 ReStructはパフォーマンス指向の進化操作も採用している。 これら2つの競合する力は、メタ構造の意味的説明可能性と経験的性能を共同で最適化する。 また,発見したメタ構造を自然言語で説明できる差分LLM説明器を設計し,検索履歴を通した推論により説明を洗練する。 5つのデータセットの実験では、ノード分類とリンクレコメンデーションタスクにおいて、ReStructがSOTAのパフォーマンスを達成することを示した。 さらに、73人の大学院生を対象にした調査では、ReStructが生み出したメタ構造や自然言語の説明が理解しやすくなっている。

関連論文リスト

• StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
  Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。 本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。 実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
  論文  参考訳（メタデータ） (2024-10-11T13:52:44Z)
• Exploring the Role of Reasoning Structures for Constructing Proofs in Multi-Step Natural Language Reasoning with Large Language Models [30.09120709652445]
  本稿では,現在最先端のジェネラリスト LLM がいくつかの例でこれらの構造を活用でき,テキスト・コンテクスト・ラーニングによる証明構造をより良く構築できるかどうかという,焦点を絞った研究に焦点をあてる。
  論文  参考訳（メタデータ） (2024-10-11T00:45:50Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• Struct-X: Enhancing Large Language Models Reasoning with Structured Data [38.558614152006975]
  構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason' 構造化データをグラフ埋め込みを用いて位相空間にエンコードする。 行方不明のエンティティ情報を知識検索モジュールで埋める。 最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
  論文  参考訳（メタデータ） (2024-07-17T13:06:25Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• StructGPT: A General Framework for Large Language Model to Reason over Structured Data [117.13986738340027]
  我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。 提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-05-16T17:45:23Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• LasUIE: Unifying Information Extraction with Latent Adaptive Structure-aware Generative Language Model [96.889634747943]
  全ての典型的な情報抽出タスク(UIE)を1つの生成言語モデル(GLM)で普遍的にモデル化し、大きな可能性を明らかにした。 UIE のための構文知識のパワーを完全に解放する構造対応 GLM を提案する。 7つのタスクにわたるIEベンチマークが12以上あり、私たちのシステムはベースラインのUIEシステムよりも大幅に改善されていることを示しています。
  論文  参考訳（メタデータ） (2023-04-13T04:01:14Z)
• Unifying Structure Reasoning and Language Model Pre-training for Complex Reasoning [26.811507121199323]
  本稿では,明示的な構造推論と言語事前学習を組み合わせ,PLMと構造推論のスキルを融合した統合学習フレームワークを提案する。 まず、コンテクスト内のいくつかの基本構造を識別し、構造化されたクエリを構築し、クエリに沿ってステップバイステップの推論を行い、回答エンティティを識別する。 4つのデータセットに対する実験結果から,提案モデルが多様構造を含む複雑な推論タスクにおいて,大幅な改善を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-01-21T08:18:11Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。