論文の概要: Large Language Model-driven Meta-structure Discovery in Heterogeneous
Information Network
- arxiv url: http://arxiv.org/abs/2402.11518v1
- Date: Sun, 18 Feb 2024 09:21:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 20:48:01.333350
- Title: Large Language Model-driven Meta-structure Discovery in Heterogeneous
Information Network
- Title(参考訳): 異種情報ネットワークにおける大規模言語モデル駆動型メタ構造発見
- Authors: Lin Chen, Fengli Xu, Nian Li, Zhenyu Han, Meng Wang, Yong Li, Pan Hui
- Abstract要約: 不均一情報ネットワーク(HIN)は、多様なタイプのノード間の複雑な関係を捉えることで人気が高まっている。
これまでの努力は、説明可能性を見越して、優れた経験的予測性能を持つメタ構造を探すことに集中していた。
本稿では,LLM推論を進化過程に統合したReasoning meta-STRUCTure search(ReStruct)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 30.611083354562016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Heterogeneous information networks (HIN) have gained increasing popularity
for being able to capture complex relations between nodes of diverse types.
Meta-structure was proposed to identify important patterns of relations on HIN,
which has been proven effective for extracting rich semantic information and
facilitating graph neural networks to learn expressive representations.
However, hand-crafted meta-structures pose challenges for scaling up, which
draws wide research attention for developing automatic meta-structure search
algorithms. Previous efforts concentrate on searching for meta-structures with
good empirical prediction performance, overlooking explainability. Thus, they
often produce meta-structures prone to overfitting and incomprehensible to
humans. To address this, we draw inspiration from the emergent reasoning
abilities of large language models (LLMs). We propose a novel REasoning
meta-STRUCTure search (ReStruct) framework that integrates LLM reasoning into
the evolutionary procedure. ReStruct uses a grammar translator to encode
meta-structures into natural language sentences, and leverages the reasoning
power of LLMs to evaluate semantically feasible meta-structures. ReStruct also
employs performance-oriented evolutionary operations. These two competing
forces jointly optimize for semantic explainability and empirical performance
of meta-structures. We also design a differential LLM explainer that can
produce natural language explanations for the discovered meta-structures, and
refine the explanation by reasoning through the search history. Experiments on
five datasets demonstrate ReStruct achieve SOTA performance in node
classification and link recommendation tasks. Additionally, a survey study
involving 73 graduate students shows that the meta-structures and natural
language explanations generated by ReStruct are substantially more
comprehensible.
- Abstract(参考訳): 不均一情報ネットワーク(HIN)は、多様なタイプのノード間の複雑な関係を捉えることができることで人気が高まっている。
メタ構造は、豊かな意味情報を抽出し、グラフニューラルネットワークが表現表現を学ぶのに有効であることが証明されたHINに関する重要な関係パターンを特定するために提案された。
しかし,手作りのメタ構造はスケールアップの難しさを招き,自動メタ構造探索アルゴリズムの開発に広く研究されている。
以前の取り組みは、説明可能性を見越して、経験的予測性能の優れたメタ構造を探索することに集中していた。
したがって、それらはしばしば、過度に適合し、人間には理解できないメタ構造を生み出す。
これに対処するため、私たちは大言語モデル(llm)の創発的な推論能力からインスピレーションを得ます。
本稿では,LLM推論を進化過程に統合したReasoning meta-STRUCTure search(ReStruct)フレームワークを提案する。
ReStructは文法トランスレータを使用して、メタ構造を自然言語文にエンコードし、LLMの推論能力を利用して意味論的に可能なメタ構造を評価する。
ReStructはパフォーマンス指向の進化操作も採用している。
これら2つの競合する力は、メタ構造の意味的説明可能性と経験的性能を共同で最適化する。
また,発見したメタ構造を自然言語で説明できる差分LLM説明器を設計し,検索履歴を通した推論により説明を洗練する。
5つのデータセットの実験では、ノード分類とリンクレコメンデーションタスクにおいて、ReStructがSOTAのパフォーマンスを達成することを示した。
さらに、73人の大学院生を対象にした調査では、ReStructが生み出したメタ構造や自然言語の説明が理解しやすくなっている。
関連論文リスト
- Structure Guided Prompt: Instructing Large Language Model in Multi-Step
Reasoning by Exploring Graph Structure of the Text [44.81698187939784]
本稿では,大規模言語モデル(LLM)の多段階推論能力向上を目的としたフレームワークであるStructure Guided Promptを紹介する。
実験の結果,このフレームワークはLLMの推論能力を大幅に向上し,より広い範囲の自然言語シナリオを拡張できることがわかった。
論文 参考訳(メタデータ) (2024-02-20T22:56:23Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - Learning Hierarchical Prompt with Structured Linguistic Knowledge for
Vision-Language Models [43.56153167864033]
大規模言語モデル(LLM)における構造化知識を活用する新しい手法を提案する。
低レベルの即時学習のためのエンティティと属性間のペアワイズ関連をキャプチャする、関係誘導型アテンションモジュールを導入する。
さらに、高レベルのプロンプトとグローバルレベルのプロンプトを組み込むことで、提案された階層構造は、クロスレベルのインターリンクを偽造し、より複雑で長期的な関係を扱うようにモデルに権限を与える。
論文 参考訳(メタデータ) (2023-12-11T12:14:06Z) - StructGPT: A General Framework for Large Language Model to Reason over
Structured Data [117.13986738340027]
我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。
提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-16T17:45:23Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳(メタデータ) (2023-05-06T03:57:05Z) - LasUIE: Unifying Information Extraction with Latent Adaptive
Structure-aware Generative Language Model [96.889634747943]
全ての典型的な情報抽出タスク(UIE)を1つの生成言語モデル(GLM)で普遍的にモデル化し、大きな可能性を明らかにした。
UIE のための構文知識のパワーを完全に解放する構造対応 GLM を提案する。
7つのタスクにわたるIEベンチマークが12以上あり、私たちのシステムはベースラインのUIEシステムよりも大幅に改善されていることを示しています。
論文 参考訳(メタデータ) (2023-04-13T04:01:14Z) - Unifying Structure Reasoning and Language Model Pre-training for Complex
Reasoning [26.811507121199323]
本稿では,明示的な構造推論と言語事前学習を組み合わせ,PLMと構造推論のスキルを融合した統合学習フレームワークを提案する。
まず、コンテクスト内のいくつかの基本構造を識別し、構造化されたクエリを構築し、クエリに沿ってステップバイステップの推論を行い、回答エンティティを識別する。
4つのデータセットに対する実験結果から,提案モデルが多様構造を含む複雑な推論タスクにおいて,大幅な改善を達成できることが示されている。
論文 参考訳(メタデータ) (2023-01-21T08:18:11Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - Joint Language Semantic and Structure Embedding for Knowledge Graph
Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。
本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。
各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文 参考訳(メタデータ) (2022-09-19T02:41:02Z) - A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured
Sentiment Analysis [31.05169054736711]
言語間構造的感情分析タスクは、ソース言語からターゲット言語へ知識を伝達することを目的としている。
本稿では,暗黙的分散と明示的構造的知識を両立させた知識強化逆数モデル(textttKEAM)を提案する。
我々は5つのデータセットの実験を行い、textttKEAMと教師なしおよび教師なしの両方の手法を比較した。
論文 参考訳(メタデータ) (2022-05-31T03:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。