Fugu-MT 論文翻訳(概要): Instruction Finetuning for Leaderboard Generation from Empirical AI Research

論文の概要: Instruction Finetuning for Leaderboard Generation from Empirical AI Research

arxiv url: http://arxiv.org/abs/2408.10141v1
Date: Mon, 19 Aug 2024 16:41:07 GMT
ステータス: 処理完了
システム内更新日: 2024-08-20 15:23:23.672304
Title: Instruction Finetuning for Leaderboard Generation from Empirical AI Research
Title（参考訳）: 経験的AI研究によるリーダーボード生成のインストラクションファインタニング
Authors: Salomon Kabongo, Jennifer D'Souza,
Abstract要約: 本研究では,Large Language Models (LLMs) の命令微調整によるAI研究リーダボード生成の自動化を実証する。それは、従来の手動のコミュニティキュレーションから移行することで、AI研究の進歩の広めを合理化することを目的としている。
参考スコア（独自算出の注目度）: 0.16114012813668935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study demonstrates the application of instruction finetuning of pretrained Large Language Models (LLMs) to automate the generation of AI research leaderboards, extracting (Task, Dataset, Metric, Score) quadruples from articles. It aims to streamline the dissemination of advancements in AI research by transitioning from traditional, manual community curation, or otherwise taxonomy-constrained natural language inference (NLI) models, to an automated, generative LLM-based approach. Utilizing the FLAN-T5 model, this research enhances LLMs' adaptability and reliability in information extraction, offering a novel method for structured knowledge representation.
Abstract（参考訳）: 本研究では,事前学習された大規模言語モデル(LLM)の命令微調整をAI研究リーダーボードの自動生成に適用し,記事からタスク,データセット,メトリック,スコア)を抽出する。従来の手動のコミュニティキュレーションや、それ以外は分類に制約のある自然言語推論(NLI)モデルから、自動化されたジェネレーティブなLLMベースのアプローチに移行することで、AI研究の進歩の広めを合理化することを目的としている。本研究では,FLAN-T5モデルを用いてLLMの適応性と情報抽出の信頼性を高め,構造化知識表現の新しい手法を提案する。

関連論文リスト

SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文参考訳（メタデータ） (2024-08-28T06:33:03Z)
Automating Knowledge Discovery from Scientific Literature via LLMs: A Dual-Agent Approach with Progressive Ontology Prompting [59.97247234955861]
LLM-Duoという,プログレッシブプロンプトアルゴリズムとデュアルエージェントシステムを組み合わせた,大規模言語モデル(LLM)に基づく新しいフレームワークを提案する。言語治療領域における64,177論文からの2,421件の介入を同定した。
論文参考訳（メタデータ） (2024-08-20T16:42:23Z)
Effective Context Selection in LLM-based Leaderboard Generation: An Empirical Study [0.3072340427031969]
本稿では,Large Language Models (LLMs) のAI研究リーダーボード生成における文脈選択の影響について検討する。本研究では, 従来の自然言語推論(NLI)手法を超越して, 事前に定義された分類法を使わずに新しい開発に適応する手法を提案する。
論文参考訳（メタデータ） (2024-06-06T06:05:39Z)
Exploring the Latest LLMs for Leaderboard Extraction [0.3072340427031969]
本稿では, LLMs-ralMist 7B, Llama GPT-4-Turbo, GPT-4.o を用いて, 実験的なAI研究論文からリーダボード情報を抽出する方法について検討する。本研究は,これらのモデルを用いて,研究論文からの4倍率(Task,Metric,Score)の生成性能を評価する。
論文参考訳（メタデータ） (2024-06-06T05:54:45Z)
LLMs for XAI: Future Directions for Explaining Explanations [50.87311607612179]
既存のXAIアルゴリズムを用いて計算した説明の精細化に着目する。最初の実験とユーザスタディは、LLMがXAIの解釈可能性とユーザビリティを高めるための有望な方法を提供することを示唆している。
論文参考訳（メタデータ） (2024-05-09T19:17:47Z)
Automating Research Synthesis with Domain-Specific Large Language Model Fine-Tuning [0.9110413356918055]
本研究は,SLR(Systematic Literature Reviews)の自動化にLLM(Funture-Tuned Large Language Models)を用いた先駆的研究である。本研究は,オープンソースLLMとともに最新の微調整手法を採用し,SLRプロセスの最終実行段階を自動化するための実用的で効率的な手法を実証した。その結果, LLM応答の精度は高く, 既存のPRISMAコンフォーミングSLRの複製により検証された。
論文参考訳（メタデータ） (2024-04-08T00:08:29Z)
Simple Techniques for Enhancing Sentence Embeddings in Generative Language Models [3.0566617373924325]
文の埋め込みは自然言語処理の領域における基本的なタスクであり、検索エンジン、エキスパートシステム、質問・回答プラットフォームで広範囲に応用されている。 LLaMAやMistralのような大規模言語モデルの継続的な進化により、文の埋め込みに関する研究は近年顕著なブレークスルーを達成している。 PLMの生埋め込みの表現力をさらに向上する2つの革新的急進的技術技術を提案する。
論文参考訳（メタデータ） (2024-04-05T07:07:15Z)
Large Language Models for Scientific Information Extraction: An Empirical Study for Virology [0.0]
談話に基づく学術コミュニケーションにおける構造的・意味的内容表現の利用を擁護する。ウィキペディアのインフォボックスや構造化されたAmazon製品記述といったツールにヒントを得て、構造化された学術貢献要約を生成するための自動アプローチを開発しました。以上の結果から,FLAN-T5のパラメータは現状のGPT-davinciよりも1000倍少ないことが示唆された。
論文参考訳（メタデータ） (2024-01-18T15:04:55Z)
Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
本稿では,インストラクションチューニング(IT)の急速な発展分野における研究成果について調査する。本稿では、指定しない場合を除き、命令チューニング(IT)は教師付き微調整(SFT)と等価である。
論文参考訳（メタデータ） (2023-08-21T15:35:16Z)
A Survey on Large Language Models for Recommendation [77.91673633328148]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野で強力なツールとして登場した。本調査では,これらのモデルを2つの主要なパラダイム(DLLM4Rec)とジェネレーティブLSM4Rec(GLLM4Rec)に分類する。
論文参考訳（メタデータ） (2023-05-31T13:51:26Z)
Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。