論文の概要: Evaluating improvements on using Large Language Models (LLMs) for property extraction in the Open Research Knowledge Graph (ORKG)

• arxiv url: http://arxiv.org/abs/2502.10768v1
• Date: Sat, 15 Feb 2025 11:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:37.970708
• Title: Evaluating improvements on using Large Language Models (LLMs) for property extraction in the Open Research Knowledge Graph (ORKG)
• Title（参考訳）: オープンリサーチ知識グラフ(ORKG)のプロパティ抽出におけるLarge Language Models(LLMs)の利用改善の評価
• Authors: Sandra Schaftner,
• Abstract要約: この研究は3人のOpen Research Knowledge Graph(ORKG)チームメンバーの以前の研究に基づいている。 先進的な急進的なエンジニアリング技術の影響を評価し、これらの技術が結果を著しく向上させることができることを実証する。 評価の結果,先進的なプロンプトエンジニアリングによって生成された結果がORKG特性との一致率の高いことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Current research highlights the great potential of Large Language Models (LLMs) for constructing Scholarly Knowledge Graphs (SKGs). One particularly complex step in this process is relation extraction, aimed at identifying suitable properties to describe the content of research. This study builds directly on previous research of three Open Research Knowledge Graph (ORKG) team members who assessed the readiness of LLMs such as GPT-3.5, Llama 2, and Mistral for property extraction in scientific literature. Given the moderate performance observed, the previous work concluded that fine-tuning is needed to improve these models' alignment with scientific tasks and their emulation of human expertise. Expanding on this prior experiment, this study evaluates the impact of advanced prompt engineering techniques and demonstrates that these techniques can highly significantly enhance the results. Additionally, this study extends the property extraction process to include property matching to existing ORKG properties, which are retrieved via the API. The evaluation reveals that results generated through advanced prompt engineering achieve a higher proportion of matches with ORKG properties, further emphasizing the enhanced alignment achieved. Moreover, this lays the groundwork for addressing challenges such as the inconsistency of ORKG properties, an issue highlighted in prior studies. By assigning unique URIs and using standardized terminology, this work increases the consistency of the properties, fulfilling a crucial aspect of Linked Data and FAIR principles - core commitments of ORKG. This, in turn, significantly enhances the applicability of ORKG content for subsequent tasks such as comparisons of research publications. Finally, the study concludes with recommendations for future improvements in the overall property extraction process.
• Abstract（参考訳）: 最近の研究は、SKG(Scholarly Knowledge Graphs)を構築するためのLarge Language Models(LLM)の大きな可能性を強調している。 このプロセスの特に複雑なステップは、研究内容を記述するのに適した性質を特定することを目的とした関係抽出である。 本研究は, GPT-3.5, Llama 2, Mistral などの LLM の実用性を評価する3人の Open Research Knowledge Graph (ORKG) チームメンバーの過去の研究に基づいて, 科学文献における財産の抽出を行った。 観察された適度なパフォーマンスを考えると、従来の研究は、これらのモデルと科学的タスクとの整合性を改善するために微調整が必要であると結論付けている。 本研究は, この先行実験に基づいて, 先進的な急進的工学技術の影響を評価し, 実験結果を著しく向上させることを実証する。 さらに、本研究では、APIを介して検索される既存のORKGプロパティとプロパティマッチングを含むように、プロパティ抽出プロセスを拡張した。 評価の結果, 先進的なプロンプトエンジニアリングにより得られた結果がORKG特性との一致率の高いこと, さらに達成されたアライメントの強化を強調した。 さらに, ORKG特性の不整合などの課題に対処する上での基礎となる課題が, 先行研究で強調された。 ユニークなURIを割り当て、標準化された用語を使用することで、この作業はプロパティの一貫性を高め、Linked DataとFAIRの原則(ORKGの中核的なコミットメント)の重要な側面を満たす。 これにより、研究論文の比較などのその後のタスクに対するORKGコンテンツの適用性が大幅に向上する。 最後に、本研究は、全財産抽出プロセスの今後の改善を推奨する。

関連論文リスト

• Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models [0.0]
  本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。 ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-24T00:49:46Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Enriched BERT Embeddings for Scholarly Publication Classification [0.13654846342364302]
  NSLP 2024 FoRC Task Iは、競争として組織されたこの課題に対処する。 目的は、ある論文に対する研究分野の分類法であるOpen Research Knowledge Graph (ORKG) から、123の事前定義されたクラスのうちの1つを予測することができる分類器を開発することである。
  論文  参考訳（メタデータ） (2024-05-07T09:05:20Z)
• Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph [18.41743815836192]
  本稿では,構造化科学要約のプロパティを自動提案するために,Large Language Models (LLMs) を提案する。 本研究は,ORKGが手作業でキュレートした特性と,前述の最先端のLCMによって生成された特性とを総合的に比較した。 全体として、LLMは科学を構造化するためのレコメンデーションシステムとしての可能性を示しているが、科学的タスクや人間の専門知識の模倣との整合性を改善するために、さらなる微調整が推奨されている。
  論文  参考訳（メタデータ） (2024-05-03T14:03:04Z)
• Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
  本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
  論文  参考訳（メタデータ） (2024-01-19T23:00:31Z)
• A Reliable Knowledge Processing Framework for Combustion Science using Foundation Models [0.0]
  この研究は、多様な燃焼研究データを処理し、実験研究、シミュレーション、文献にまたがるアプローチを導入している。 開発されたアプローチは、データのプライバシと精度を最適化しながら、計算と経済の費用を最小化する。 このフレームワークは、最小限の人間の監視で、常に正確なドメイン固有の応答を提供する。
  論文  参考訳（メタデータ） (2023-12-31T17:15:25Z)
• LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
  知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。 我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
  論文  参考訳（メタデータ） (2023-05-22T15:56:44Z)
• Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
  臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。 本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。 提案手法により,下流タスクの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-03-08T03:56:31Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction [66.09605613944201]
  バッグレベルの関係抽出(RE)における注意と知識グラフの効果を定量的に評価する。 その結果,(1)注目精度の向上は,エンティティ参照特徴を抽出するモデルの性能を損なう可能性があること,(2)注目性能は様々なノイズ分布パターンの影響が大きいこと,(3)KG強化された注目はRE性能を向上するが,その効果は注目度を向上させるだけでなく,先行するエンティティを組み込むことによっても改善することがわかった。
  論文  参考訳（メタデータ） (2021-07-26T09:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。