Fugu-MT 論文翻訳(概要): Using Large Language Models to Enrich the Documentation of Datasets for Machine Learning

論文の概要: Using Large Language Models to Enrich the Documentation of Datasets for Machine Learning

arxiv url: http://arxiv.org/abs/2404.15320v2
Date: Fri, 24 May 2024 11:25:49 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 20:27:27.292040
Title: Using Large Language Models to Enrich the Documentation of Datasets for Machine Learning
Title（参考訳）: 機械学習における大規模言語モデルを用いたデータセットの文書化
Authors: Joan Giner-Miguelez, Abel Gómez, Jordi Cabot,
Abstract要約: 大規模言語モデル(LLM)を用いて,文書から次元を自動的に抽出する戦略について検討する。当社のアプローチは、データパブリッシャや実践者がマシン可読なドキュメントを作成するのに役立ちます。我々は、我々のアプローチを実装するオープンソースツールと、実験のコードと結果を含むレプリケーションパッケージをリリースした。
参考スコア（独自算出の注目度）: 1.8270184406083445
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Recent regulatory initiatives like the European AI Act and relevant voices in the Machine Learning (ML) community stress the need to describe datasets along several key dimensions for trustworthy AI, such as the provenance processes and social concerns. However, this information is typically presented as unstructured text in accompanying documentation, hampering their automated analysis and processing. In this work, we explore using large language models (LLM) and a set of prompting strategies to automatically extract these dimensions from documents and enrich the dataset description with them. Our approach could aid data publishers and practitioners in creating machine-readable documentation to improve the discoverability of their datasets, assess their compliance with current AI regulations, and improve the overall quality of ML models trained on them. In this paper, we evaluate the approach on 12 scientific dataset papers published in two scientific journals (Nature's Scientific Data and Elsevier's Data in Brief) using two different LLMs (GPT3.5 and Flan-UL2). Results show good accuracy with our prompt extraction strategies. Concrete results vary depending on the dimensions, but overall, GPT3.5 shows slightly better accuracy (81,21%) than FLAN-UL2 (69,13%) although it is more prone to hallucinations. We have released an open-source tool implementing our approach and a replication package, including the experiments' code and results, in an open-source repository.
Abstract（参考訳）: 欧州AI法や機械学習(ML)コミュニティにおける関連する声といった最近の規制イニシアチブは、前例のプロセスや社会的懸念など、信頼できるAIのいくつかの重要な側面に沿ってデータセットを記述する必要性を強調している。しかしながら、この情報は典型的には、ドキュメントに付随する非構造化テキストとして表示され、その自動解析と処理を妨げる。本研究では,大規模言語モデル (LLM) と文書からこれらの次元を自動的に抽出し,それらを用いたデータセット記述を充実させる一連の手順について検討する。このアプローチは、データパブリッシャや実践者が、データセットの発見性を改善し、現在のAI規則への準拠を評価し、トレーニングされたMLモデルの全体的な品質を改善するために、マシン可読なドキュメントを作成する上で役立ちます。本稿では,2つの学術雑誌(Nature's Scientific Data and Elsevier's Data in Brief)に掲載された12の学術論文に対するアプローチを,GPT3.5とFlan-UL2の2つの異なるLCMを用いて評価する。その結果, 抽出手法の精度は良好であった。コンクリートは寸法によって異なるが, GPT3.5は幻覚の傾向が強いものの, FLAN-UL2 (69,13%) よりも若干精度が良い(81,21%)。我々は、我々のアプローチを実装したオープンソースツールと、実験のコードと結果を含むレプリケーションパッケージをオープンソースリポジトリでリリースしました。

関連論文リスト

RedPajama: an Open Dataset for Training Large Language Models [80.74772646989423]
我々は、オープンソースの言語モデルを前進させるために対処しなければならない3つの中核的なデータ関連課題を特定します。例えば、(1)データキュレーションプロセス、(2)大量の高品質データへのアクセス、(3)データセットキュレーションと分析のためのアーティファクトとメタデータの可用性などである。 LLaMAトレーニングデータセットのオープンレプリケーションであるRedPajama-V1と、生の未フィルタリングテキストデータと品質信号とメタデータからなる巨大なWeb専用データセットであるRedPajama-V2をリリースする。
論文参考訳（メタデータ） (2024-11-19T09:35:28Z)
A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models [0.8899670429041453]
生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
論文参考訳（メタデータ） (2024-07-26T06:39:35Z)
AvaTaR: Optimizing LLM Agents for Tool Usage via Contrastive Reasoning [93.96463520716759]
大規模言語モデル(LLM)エージェントは、精度と幻覚を高めるために外部ツールと知識を活用する際、印象的な能力を示した。本稿では、LLMエージェントを最適化して提供されたツールを効果的に活用し、与えられたタスクのパフォーマンスを向上させる新しい自動化フレームワークであるAvaTaRを紹介する。
論文参考訳（メタデータ） (2024-06-17T04:20:02Z)
Enhancing Knowledge Retrieval with In-Context Learning and Semantic Search through Generative AI [3.9773527114058855]
本稿では,大規模言語モデルの生成能力とベクトルデータベースの高速かつ正確な検索能力を組み合わせた新しい手法を提案する。開発したGTR(Generative Text Retrieval)は,非構造化データと構造化データの両方に適用可能である。改良されたモデルであるGenerative Tabular Text Retrieval (GTR-T) は、大規模データベースクエリの効率を実証した。
論文参考訳（メタデータ） (2024-06-13T23:08:06Z)
Exploring the Latest LLMs for Leaderboard Extraction [0.3072340427031969]
本稿では, LLMs-ralMist 7B, Llama GPT-4-Turbo, GPT-4.o を用いて, 実験的なAI研究論文からリーダボード情報を抽出する方法について検討する。本研究は,これらのモデルを用いて,研究論文からの4倍率(Task,Metric,Score)の生成性能を評価する。
論文参考訳（メタデータ） (2024-06-06T05:54:45Z)
ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
論文参考訳（メタデータ） (2024-02-09T11:23:14Z)
Genixer: Empowering Multimodal Large Language Models as a Powerful Data Generator [63.762209407570715]
Genixerは4つの重要なステップからなる包括的なデータ生成パイプラインである。 LLaVA1.5でトレーニングされた合成VQAライクなデータセットは、12のマルチモーダルベンチマークのうち10のパフォーマンスを向上させる。タスク固有のデータセットで訓練されたMLLMは、複雑な命令チューニングデータを生成する際に、GPT-4Vを超えることができる。
論文参考訳（メタデータ） (2023-12-11T09:44:41Z)
Text Summarization Using Large Language Models: A Comparative Study of MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models [0.0]
Leveraging Large Language Models (LLMs) は、要約技術の強化において、顕著な将来性を示している。本稿では,MPT-7b-instruct,falcon-7b-instruct,OpenAI ChatGPT text-davinci-003 モデルなど,多種多様な LLM を用いたテキスト要約について検討する。
論文参考訳（メタデータ） (2023-10-16T14:33:02Z)
Interactive Distillation of Large Single-Topic Corpora of Scientific Papers [1.2954493726326113]
より堅牢だが時間を要するアプローチは、主題の専門家が文書を手書きするデータセットを構成的に構築することである。ここでは,学術文献のターゲットデータセットを構築的に生成するための,機械学習に基づく新しいツールを紹介する。
論文参考訳（メタデータ） (2023-09-19T17:18:36Z)
AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文参考訳（メタデータ） (2023-03-29T17:03:21Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。