論文の概要: Exploring In-Context Learning Capabilities of Foundation Models for Generating Knowledge Graphs from Text

• arxiv url: http://arxiv.org/abs/2305.08804v1
• Date: Mon, 15 May 2023 17:10:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 13:37:36.215556
• Title: Exploring In-Context Learning Capabilities of Foundation Models for Generating Knowledge Graphs from Text
• Title（参考訳）: テキストから知識グラフを生成する基礎モデルの文脈内学習能力の探索
• Authors: Hanieh Khorashadizadeh, Nandana Mihindukulasooriya, Sanju Tiwari, Jinghua Groppe and Sven Groppe
• Abstract要約: 本論文は,知識グラフの自動構築と完成の技術をテキストから改善することを目的としている。 この文脈では、新しいパラダイムの1つは、言語モデルがプロンプトとともにそのまま使われる、コンテキスト内学習である。
• 参考スコア（独自算出の注目度）: 3.114960935006655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs can represent information about the real-world using entities and their relations in a structured and semantically rich manner and they enable a variety of downstream applications such as question-answering, recommendation systems, semantic search, and advanced analytics. However, at the moment, building a knowledge graph involves a lot of manual effort and thus hinders their application in some situations and the automation of this process might benefit especially for small organizations. Automatically generating structured knowledge graphs from a large volume of natural language is still a challenging task and the research on sub-tasks such as named entity extraction, relation extraction, entity and relation linking, and knowledge graph construction aims to improve the state of the art of automatic construction and completion of knowledge graphs from text. The recent advancement of foundation models with billions of parameters trained in a self-supervised manner with large volumes of training data that can be adapted to a variety of downstream tasks has helped to demonstrate high performance on a large range of Natural Language Processing (NLP) tasks. In this context, one emerging paradigm is in-context learning where a language model is used as it is with a prompt that provides instructions and some examples to perform a task without changing the parameters of the model using traditional approaches such as fine-tuning. This way, no computing resources are needed for re-training/fine-tuning the models and the engineering effort is minimal. Thus, it would be beneficial to utilize such capabilities for generating knowledge graphs from text.
• Abstract（参考訳）: ナレッジグラフは、エンティティとその関係を構造化され、意味的にリッチな方法で表現することができ、質問応答、レコメンデーションシステム、セマンティック検索、高度な分析など、さまざまな下流アプリケーションを可能にする。 しかしながら、現時点では、知識グラフの構築には多くの手作業が必要で、いくつかの状況においてアプリケーションの障害となるため、このプロセスの自動化は特に小さな組織にとってメリットがあります。 大量の自然言語から構造化知識グラフを自動生成することは依然として困難な課題であり、名前付きエンティティ抽出、関係抽出、エンティティと関係リンク、知識グラフ構築といったサブタスクの研究は、テキストからの知識グラフの自動構築と完成の最先端化を目的としている。 数十億のパラメータを自己教師型で訓練し,さまざまな下流タスクに適応可能な大量のトレーニングデータを持つ基礎モデルの最近の進歩は,幅広い自然言語処理(NLP)タスクにおいて高いパフォーマンスを示すのに役立っている。 この文脈では、新しいパラダイムの一つがコンテキスト内学習(in-context learning)であり、細調整のような従来のアプローチを用いてモデルのパラメータを変更することなくタスクを実行するプロンプトといくつかの例を提供する。 このように、モデルをトレーニング/微調整するためにコンピューティングリソースは不要であり、エンジニアリングの労力は最小限である。 したがって、このような機能をテキストから知識グラフを生成するために活用することは有益である。

関連論文リスト

• Generative retrieval-augmented ontologic graph and multi-agent strategies for interpretive large language model-based materials design [0.0]
  トランスフォーマーニューラルネットワークは、特に材料分析、設計、製造において、有望な能力を示す。 本稿では,教材の工学的分析を支援するツールとして,大規模言語モデル(LLM)の利用について検討する。
  論文  参考訳（メタデータ） (2023-10-30T20:31:50Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction [104.29108668347727]
  本稿では,最新の生成型大規模言語モデルの可能性を活用する,革新的な知識グラフ生成手法を提案する。 このアプローチは、新しい反復的なゼロショットと外部知識に依存しない戦略を含むパイプラインで伝達される。 我々は、我々の提案がスケーラブルで多目的な知識グラフ構築に適したソリューションであり、異なる新しい文脈に適用できると主張している。
  論文  参考訳（メタデータ） (2023-07-03T16:01:45Z)
• Enhancing Knowledge Graph Construction Using Large Language Models [0.0]
  本稿では,ChatGPTのような基礎LPMの現在の進歩を,REBELのような特定の事前学習モデルと比較し,結合実体と関係抽出について述べる。 生テキストから知識グラフを自動生成するためのパイプラインを作成し,高度なLCMモデルを用いることで,非構造化テキストからこれらのグラフを作成するプロセスの精度が向上することを示した。
  論文  参考訳（メタデータ） (2023-05-08T12:53:06Z)
• KGLM: Integrating Knowledge Graph Structure in Language Models for Link Prediction [0.0]
  我々は、異なるエンティティと関係型を区別することを学ぶ新しいエンティティ/リレーション埋め込み層を導入する。 知識グラフから抽出したトリプルを用いて、この追加埋め込み層を用いて言語モデルをさらに事前学習し、続いて標準微調整フェーズにより、ベンチマークデータセット上のリンク予測タスクに対して、新しい最先端のパフォーマンスが設定されることを示す。
  論文  参考訳（メタデータ） (2022-11-04T20:38:12Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。