論文の概要: Exploring the Latest LLMs for Leaderboard Extraction

• arxiv url: http://arxiv.org/abs/2406.04383v2
• Date: Mon, 8 Jul 2024 19:04:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 23:01:54.841660
• Title: Exploring the Latest LLMs for Leaderboard Extraction
• Title（参考訳）: リーダーボード抽出のための最新のLLMの探索
• Authors: Salomon Kabongo, Jennifer D'Souza, Sören Auer,
• Abstract要約: 本稿では, LLMs-ralMist 7B, Llama GPT-4-Turbo, GPT-4.o を用いて, 実験的なAI研究論文からリーダボード情報を抽出する方法について検討する。 本研究は,これらのモデルを用いて,研究論文からの4倍率(Task,Metric,Score)の生成性能を評価する。
• 参考スコア（独自算出の注目度）: 0.3072340427031969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancements in Large Language Models (LLMs) have opened new avenues for automating complex tasks in AI research. This paper investigates the efficacy of different LLMs-Mistral 7B, Llama-2, GPT-4-Turbo and GPT-4.o in extracting leaderboard information from empirical AI research articles. We explore three types of contextual inputs to the models: DocTAET (Document Title, Abstract, Experimental Setup, and Tabular Information), DocREC (Results, Experiments, and Conclusions), and DocFULL (entire document). Our comprehensive study evaluates the performance of these models in generating (Task, Dataset, Metric, Score) quadruples from research papers. The findings reveal significant insights into the strengths and limitations of each model and context type, providing valuable guidance for future AI research automation efforts.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、AI研究における複雑なタスクを自動化するための新たな道を開いた。 本稿では, LLMs-Mistral 7B, Llama-2, GPT-4-Turbo, GPT-4.o を用いて, 実験的なAI研究論文からリーダボード情報を抽出する方法について検討する。 本稿では,DocTAET (Document Title, Abstract, Experimental Setup, Tabular Information), DocREC (Results, Experiments, and Conclusions), DocFULL (entire document) の3種類のコンテキスト入力について検討する。 研究論文から,これらのモデルの性能(Task,Dataset,Metric,Score)を評価する。 この発見は、各モデルとコンテキストタイプの長所と短所に関する重要な洞察を示し、将来のAI研究自動化のための貴重なガイダンスを提供する。

関連論文リスト

• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• Robustness of Structured Data Extraction from In-plane Rotated Documents using Multi-Modal Large Language Models (LLM) [0.0]
  本研究では,文書スキューが3つの最先端マルチモーダルモデルのデータの抽出精度に与える影響について検討した。 モデル毎に安全な面内回転角(SIPRA)を同定し,スキューがモデル幻覚に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-06-13T08:55:01Z)
• MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
  我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。 MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。 我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
  論文  参考訳（メタデータ） (2024-06-10T15:19:09Z)
• Using Large Language Models to Enrich the Documentation of Datasets for Machine Learning [1.8270184406083445]
  大規模言語モデル(LLM)を用いて,文書から次元を自動的に抽出する戦略について検討する。 当社のアプローチは、データパブリッシャや実践者がマシン可読なドキュメントを作成するのに役立ちます。 我々は、我々のアプローチを実装するオープンソースツールと、実験のコードと結果を含むレプリケーションパッケージをリリースした。
  論文  参考訳（メタデータ） (2024-04-04T10:09:28Z)
• INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。 情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。 我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
  論文  参考訳（メタデータ） (2024-01-12T12:10:28Z)
• GPT Struct Me: Probing GPT Models on Narrative Entity Extraction [2.049592435988883]
  我々は,2つの最先端言語モデル(GPT-3とGPT-3.5)の物語の抽出能力を評価する。 本研究はポルトガルの119のニュース記事を集めたText2Story Lusaデータセットを用いて行った。
  論文  参考訳（メタデータ） (2023-11-24T16:19:04Z)
• Text Summarization Using Large Language Models: A Comparative Study of MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models [0.0]
  Leveraging Large Language Models (LLMs) は、要約技術の強化において、顕著な将来性を示している。 本稿では,MPT-7b-instruct,falcon-7b-instruct,OpenAI ChatGPT text-davinci-003 モデルなど,多種多様な LLM を用いたテキスト要約について検討する。
  論文  参考訳（メタデータ） (2023-10-16T14:33:02Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [68.86209486449924]
  知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。 我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
  論文  参考訳（メタデータ） (2023-05-22T15:56:44Z)
• Document-Level Machine Translation with Large Language Models [91.03359121149595]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。 本稿では,LLMの談話モデルにおける能力について詳細に評価する。
  論文  参考訳（メタデータ） (2023-04-05T03:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。