論文の概要: On the Effectiveness of Large Language Models in Automating Categorization of Scientific Texts

• arxiv url: http://arxiv.org/abs/2502.15745v1
• Date: Sat, 08 Feb 2025 20:37:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 03:23:03.013161
• Title: On the Effectiveness of Large Language Models in Automating Categorization of Scientific Texts
• Title（参考訳）: 科学テキストの分類の自動化における大規模言語モデルの有効性について
• Authors: Gautam Kishore Shahi, Oliver Hummel,
• Abstract要約: 我々は,学術論文を階層型分類システムに分類する能力において,Large Language Models (LLMs) を評価する。 FORCデータセットを基底真理データとして使用することにより、最近のLCMでは、従来のBERTモデルよりも最大0.08の精度で、最大0.82の精度を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 5.831737970661138
• License:
• Abstract: The rapid advancement of Large Language Models (LLMs) has led to a multitude of application opportunities. One traditional task for Information Retrieval systems is the summarization and classification of texts, both of which are important for supporting humans in navigating large literature bodies as they e.g. exist with scientific publications. Due to this rapidly growing body of scientific knowledge, recent research has been aiming at building research information systems that not only offer traditional keyword search capabilities, but also novel features such as the automatic detection of research areas that are present at knowledge intensive organizations in academia and industry. To facilitate this idea, we present the results obtained from evaluating a variety of LLMs in their ability to sort scientific publications into hierarchical classifications systems. Using the FORC dataset as ground truth data, we have found that recent LLMs (such as Meta Llama 3.1) are able to reach an accuracy of up to 0.82, which is up to 0.08 better than traditional BERT models.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、多くの応用機会をもたらした。 情報検索システムにおける従来の課題の1つはテキストの要約と分類であり、どちらも学術出版物にgが存在するように、大きな文学体をナビゲートする際に人間を支援するために重要である。 この科学的知識の急速な発展により、近年の研究は、従来のキーワード検索機能だけでなく、学術・産業の知識集約的な組織に存在している研究領域の自動検出など、新たな特徴を提供する研究情報システムの構築をめざしている。 そこで本稿では,学術出版物を階層的な分類システムに分類する能力において,様々なLSMを評価した結果について述べる。 FORCデータセットを基底真理データとして使用することにより、最近のLCM(Meta Llama 3.1など)は、従来のBERTモデルよりも最大0.08の精度で0.82に達することができることがわかった。

関連論文リスト

• SciPIP: An LLM-based Scientific Paper Idea Proposer [30.670219064905677]
  SciPIPは,文献検索とアイデア生成の両面での改善を通じて,科学的アイデアの提案を強化するために設計された,革新的なフレームワークである。 自然言語処理やコンピュータビジョンなど,さまざまな領域で実施した実験では,SciPIPが革新的で有用なアイデアを多数生成する能力を示した。
  論文  参考訳（メタデータ） (2024-10-30T16:18:22Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Towards Efficient Large Language Models for Scientific Text: A Review [4.376712802685017]
  大規模言語モデル(LLM)は、科学を含む様々な分野において複雑な情報を処理するための新しい時代を迎えている。 LLMのパワーのため、非常に高価な計算資源、大量のデータ、訓練時間が必要である。 近年、研究者は科学的LLMをより手頃な価格にするための様々な手法を提案している。
  論文  参考訳（メタデータ） (2024-08-20T10:57:34Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
  ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。 ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。 我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
  論文  参考訳（メタデータ） (2024-04-11T13:36:29Z)
• Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
  2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。 計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
  論文  参考訳（メタデータ） (2024-04-01T17:45:15Z)
• Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning [2.88268082568407]
  我々は,調査論文を分類学に自動的に割り当てる手法を開発した。 本研究は,共分類グラフ上でのグラフ構造情報の活用が言語モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-16T02:21:59Z)
• Using Large Language Models to Automate Category and Trend Analysis of Scientific Articles: An Application in Ophthalmology [4.455826633717872]
  本稿では,Large Language Models (LLM) のパワーを活用した記事分類の自動手法を提案する。 平均精度は0.86、平均F1は0.85である。 モデルの他の科学分野への拡張性は、様々な分野にわたる研究やトレンド分析の促進にその影響を広げる。
  論文  参考訳（メタデータ） (2023-08-31T12:45:53Z)
• MIReAD: Simple Method for Learning High-quality Representations from Scientific Documents [77.34726150561087]
  論文の高品質な表現を学習する簡単な方法であるMIREADを提案する。 私たちは、2000以上のジャーナルクラスで50万以上のPubMedとarXivの抽象クラスでMIREADをトレーニングします。
  論文  参考訳（メタデータ） (2023-05-07T03:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。