論文の概要: Large Language Models for Scholarly Ontology Generation: An Extensive Analysis in the Engineering Field

• arxiv url: http://arxiv.org/abs/2412.08258v1
• Date: Wed, 11 Dec 2024 10:11:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:03:05.822908
• Title: Large Language Models for Scholarly Ontology Generation: An Extensive Analysis in the Engineering Field
• Title（参考訳）: 学習オントロジー生成のための大規模言語モデル:工学領域における拡張解析
• Authors: Tanay Aggarwal, Angelo Salatino, Francesco Osborne, Enrico Motta,
• Abstract要約: 本稿では,異なる研究トピック間の意味的関係を識別する大規模モデルの能力について分析する。 我々はそのタスクを評価するためにIEEE Thesaurusに基づく金の標準を開発した。 Mixtral-8x7B、Dolphin-Mistral、Claude 3-7Bなど、いくつかの優れた結果が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Ontologies of research topics are crucial for structuring scientific knowledge, enabling scientists to navigate vast amounts of research, and forming the backbone of intelligent systems such as search engines and recommendation systems. However, manual creation of these ontologies is expensive, slow, and often results in outdated and overly general representations. As a solution, researchers have been investigating ways to automate or semi-automate the process of generating these ontologies. This paper offers a comprehensive analysis of the ability of large language models (LLMs) to identify semantic relationships between different research topics, which is a critical step in the development of such ontologies. To this end, we developed a gold standard based on the IEEE Thesaurus to evaluate the task of identifying four types of relationships between pairs of topics: broader, narrower, same-as, and other. Our study evaluates the performance of seventeen LLMs, which differ in scale, accessibility (open vs. proprietary), and model type (full vs. quantised), while also assessing four zero-shot reasoning strategies. Several models have achieved outstanding results, including Mixtral-8x7B, Dolphin-Mistral-7B, and Claude 3 Sonnet, with F1-scores of 0.847, 0.920, and 0.967, respectively. Furthermore, our findings demonstrate that smaller, quantised models, when optimised through prompt engineering, can deliver performance comparable to much larger proprietary models, while requiring significantly fewer computational resources.
• Abstract（参考訳）: 研究トピックのオントロジーは、科学知識を構造化し、科学者が膨大な量の研究をナビゲートし、検索エンジンやレコメンデーションシステムのような知的なシステムのバックボーンを形成するために重要である。 しかしながら、これらのオントロジーのマニュアル作成は高価で遅く、しばしば時代遅れで過度に一般的な表現をもたらす。 解決策として、研究者たちはこれらのオントロジーを生成するプロセスを自動化するか、あるいは半自動化する方法を調査してきた。 本稿では,大規模言語モデル(LLM)が様々な研究トピック間の意味的関係を識別する能力を包括的に分析する。 この目的のために、IEEE Thesaurusに基づくゴールドスタンダードを開発し、より広義、狭義、同義の4種類のトピック間の関係を識別するタスクを評価した。 本研究は、スケール、アクセシビリティ(オープン対プロプライエタリ)、モデルタイプ(フル対量子化)が異なる17個のLCMの性能を評価し、同時に、4つのゼロショット推論戦略を評価した。 Mixtral-8x7B、Dolphin-Mistral-7B、Claude 3 SonnetのF1スコアは0.847、0.920、0.967である。 さらに,本研究では,計算資源の削減を図りながら,より大規模なプロプライエタリモデルに匹敵する性能が得られることを示す。

関連論文リスト

• Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models [0.0]
  本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。 ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
  論文  参考訳（メタデータ） (2024-10-24T00:49:46Z)
• Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
  モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。 これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
  論文  参考訳（メタデータ） (2024-08-14T16:58:48Z)
• Synthesizing Scientific Summaries: An Extractive and Abstractive Approach [0.5904095466127044]
  論文要約のためのハイブリッド手法を提案する。 抽出段階では教師なし学習に基づく2つのモデルとトランスフォーマー言語モデルを用いる。 ハイパーパラメータの特定の組み合わせを用いることで、自動要約システムが人間によって書かれた要約の抽象性を超えることが可能であることが判明した。
  論文  参考訳（メタデータ） (2024-07-29T08:21:42Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• System for systematic literature review using multiple AI agents: Concept and an empirical evaluation [5.194208843843004]
  本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。 このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。 関連する学術論文を検索するために使用される検索文字列を生成する。 モデルはこれらの論文の要約を自律的に要約する。
  論文  参考訳（メタデータ） (2024-03-13T10:27:52Z)
• Using Large Language Models to Automate Category and Trend Analysis of Scientific Articles: An Application in Ophthalmology [4.455826633717872]
  本稿では,Large Language Models (LLM) のパワーを活用した記事分類の自動手法を提案する。 平均精度は0.86、平均F1は0.85である。 モデルの他の科学分野への拡張性は、様々な分野にわたる研究やトレンド分析の促進にその影響を広げる。
  論文  参考訳（メタデータ） (2023-08-31T12:45:53Z)
• Less is More: A Call to Focus on Simpler Models in Genetic Programming for Interpretable Machine Learning [1.0323063834827415]
  解釈可能性(interpretability)は、ハイテイクなアプリケーションにおける機械学習モデルの安全かつ責任ある使用に不可欠である。 GP for IMLの研究は、低複雑さモデルにおける探索に重点を置く必要があると我々は主張する。
  論文  参考訳（メタデータ） (2022-04-05T08:28:07Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。