論文の概要: Fine-tuning and Prompt Engineering with Cognitive Knowledge Graphs for Scholarly Knowledge Organization

• arxiv url: http://arxiv.org/abs/2409.06433v1
• Date: Tue, 10 Sep 2024 11:31:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 17:58:36.589415
• Title: Fine-tuning and Prompt Engineering with Cognitive Knowledge Graphs for Scholarly Knowledge Organization
• Title（参考訳）: 学習知識組織のための認知知識グラフを用いたファインチューニングとプロンプトエンジニアリング
• Authors: Gollam Rabby, Sören Auer, Jennifer D'Souza, Allard Oelen,
• Abstract要約: 本研究は,大規模言語モデル(LLM)を用いた構造化学術知識の効果的伝達に焦点をあてる。 LLMは学術論文を分類し、その貢献を構造化され、同等の方法で記述する。 我々の方法論は、LLMの知識を活用し、CKGから得られた領域の専門家が検証した学術データと補完することである。
• 参考スコア（独自算出の注目度）: 0.14999444543328289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing amount of published scholarly articles, exceeding 2.5 million yearly, raises the challenge for researchers in following scientific progress. Integrating the contributions from scholarly articles into a novel type of cognitive knowledge graph (CKG) will be a crucial element for accessing and organizing scholarly knowledge, surpassing the insights provided by titles and abstracts. This research focuses on effectively conveying structured scholarly knowledge by utilizing large language models (LLMs) to categorize scholarly articles and describe their contributions in a structured and comparable manner. While previous studies explored language models within specific research domains, the extensive domain-independent knowledge captured by LLMs offers a substantial opportunity for generating structured contribution descriptions as CKGs. Additionally, LLMs offer customizable pathways through prompt engineering or fine-tuning, thus facilitating to leveraging of smaller LLMs known for their efficiency, cost-effectiveness, and environmental considerations. Our methodology involves harnessing LLM knowledge, and complementing it with domain expert-verified scholarly data sourced from a CKG. This strategic fusion significantly enhances LLM performance, especially in tasks like scholarly article categorization and predicate recommendation. Our method involves fine-tuning LLMs with CKG knowledge and additionally injecting knowledge from a CKG with a novel prompting technique significantly increasing the accuracy of scholarly knowledge extraction. We integrated our approach in the Open Research Knowledge Graph (ORKG), thus enabling precise access to organized scholarly knowledge, crucially benefiting domain-independent scholarly knowledge exchange and dissemination among policymakers, industrial practitioners, and the general public.
• Abstract（参考訳）: 学術論文の発行量は毎年250万を超えており、研究者が科学的進歩を追求する上での課題となっている。 学術論文からのコントリビューションを新しいタイプの認知知識グラフ(CKG)に統合することは、学術的知識にアクセスし、組織化するための重要な要素であり、タイトルや要約によって提供される洞察を超越する。 本研究は,大規模言語モデル(LLM)を用いて構造化された学術的知識を効果的に伝達し,学術的論文を分類し,その貢献を構造化された同等の方法で記述することに焦点を当てる。 以前の研究では、特定の研究領域内の言語モデルについて検討していたが、LLMが捉えた広範囲なドメインに依存しない知識は、CKGとして構造化されたコントリビューション記述を生成する大きな機会となった。 さらに、LLMは、迅速なエンジニアリングや微調整を通じてカスタマイズ可能な経路を提供し、それによって、その効率性、コスト効率、環境配慮で知られているより小さなLCMの活用を容易にする。 我々の方法論は、LLMの知識を活用し、CKGから得られた領域の専門家が検証した学術データと補完することである。 この戦略的融合は、特に学術論文分類や述語推薦といったタスクにおいて、LLMのパフォーマンスを著しく向上させる。 本手法では, CKGの知識を微調整し, CKGから知識を注入することにより, 学術的知識抽出の精度を大幅に向上させる。 我々はオープンリサーチ知識グラフ(ORKG)にアプローチを統合することで、組織化された学術知識への正確なアクセスを可能にし、ドメインに依存しない学術知識の交換と政策立案者、産業従事者、一般大衆への普及を著しく促進する。

関連論文リスト

• From References to Insights: Collaborative Knowledge Minigraph Agents for Automating Scholarly Literature Review [22.80918934436901]
  本稿では,学術文献レビューの自動化を目的とした,共同知識ミニグラフエージェント(CKMA)を提案する。 新たなプロンプトベースのアルゴリズムである知識ミニグラフ構築エージェント(KMCA)は、学術文献から情報片間の関係を識別するように設計されている。 構築された知識ミニグラフにおける大規模言語モデルの能力を活用することにより、多経路要約エージェント(MPSA)は、異なる視点から情報や関係を効率的に整理し、文献レビュー段落を生成する。
  論文  参考訳（メタデータ） (2024-11-09T12:06:40Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph [1.7418328181959968]
  本研究は,革新的なセマンティッククエリ処理システムを開発することを目的としている。 オーストラリア国立大学のコンピュータサイエンス(CS)研究者による研究成果に関する総合的な情報を得ることができる。
  論文  参考訳（メタデータ） (2024-05-24T09:19:45Z)
• KG-RAG: Bridging the Gap Between Knowledge and Creativity [0.0]
  大規模言語モデルエージェント(LMA)は、情報幻覚、破滅的な忘れ込み、長いコンテキストの処理における制限といった問題に直面している。 本稿では,LMAの知識能力を高めるため,KG-RAG (Knowledge Graph-Retrieval Augmented Generation)パイプラインを提案する。 ComplexWebQuestionsデータセットに関する予備実験では、幻覚的コンテンツの削減において顕著な改善が示されている。
  論文  参考訳（メタデータ） (2024-05-20T14:03:05Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph [18.41743815836192]
  本稿では,構造化科学要約のプロパティを自動提案するために,Large Language Models (LLMs) を提案する。 本研究は,ORKGが手作業でキュレートした特性と,前述の最先端のLCMによって生成された特性とを総合的に比較した。 全体として、LLMは科学を構造化するためのレコメンデーションシステムとしての可能性を示しているが、科学的タスクや人間の専門知識の模倣との整合性を改善するために、さらなる微調整が推奨されている。
  論文  参考訳（メタデータ） (2024-05-03T14:03:04Z)
• A Survey on Knowledge Distillation of Large Language Models [99.11900233108487]
  知識蒸留(KD)は、高度な能力をオープンソースモデルに転送するための重要な方法論である。 本稿では,大規模言語モデル(LLM)の領域におけるKDの役割を包括的に調査する。
  論文  参考訳（メタデータ） (2024-02-20T16:17:37Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [61.554209059971576]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。 新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。 Infuser-Guided Knowledge Integration フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。