論文の概要: Zero-shot data citation function classification using transformer-based large language models (LLMs)

• arxiv url: http://arxiv.org/abs/2511.02936v1
• Date: Tue, 04 Nov 2025 19:33:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.221058
• Title: Zero-shot data citation function classification using transformer-based large language models (LLMs)
• Title（参考訳）: 変圧器ベース大言語モデル(LLM)を用いたゼロショットデータ引用関数の分類
• Authors: Neil Byers, Ali Zaidi, Valerie Skye, Chris Beecroft, Kjiersten Fagnan,
• Abstract要約: オープンソースの大規模言語モデルを用いて、特定のゲノムデータセットを組み込んだ出版物の構造化データ利用事例ラベルを生成する。 以上の結果から, 既定カテゴリを持たないゼロショットデータ引用分類タスクにおいて, ストックモデルがF1スコア.674を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Efforts have increased in recent years to identify associations between specific datasets and the scientific literature that incorporates them. Knowing that a given publication cites a given dataset, the next logical step is to explore how or why that data was used. Advances in recent years with pretrained, transformer-based large language models (LLMs) offer potential means for scaling the description of data use cases in the published literature. This avoids expensive manual labeling and the development of training datasets for classical machine-learning (ML) systems. In this work we apply an open-source LLM, Llama 3.1-405B, to generate structured data use case labels for publications known to incorporate specific genomic datasets. We also introduce a novel evaluation framework for determining the efficacy of our methods. Our results demonstrate that the stock model can achieve an F1 score of .674 on a zero-shot data citation classification task with no previously defined categories. While promising, our results are qualified by barriers related to data availability, prompt overfitting, computational infrastructure, and the expense required to conduct responsible performance evaluation.
• Abstract（参考訳）: 近年、特定のデータセットとそれらを組み込んだ科学文献の関連性を特定する努力が増えている。 ある出版物が与えられたデータセットを引用していることを知ると、次の論理的なステップは、そのデータがどのように、なぜ使われたかを調べることである。 近年のLLM(pretrained, transformer-based large language model)による進歩は、出版文献におけるデータユースケースの記述をスケールする潜在的な手段を提供する。 これにより、高価な手動ラベリングや、古典的な機械学習(ML)システムのためのトレーニングデータセットの開発が回避される。 本研究では、オープンソースのLLMであるLlama 3.1-405Bを適用し、特定のゲノムデータセットを組み込んだ出版物のための構造化データユースケースラベルを生成する。 また,本手法の有効性を判定するための新しい評価フレームワークについても紹介する。 以上の結果から, 既定カテゴリを持たないゼロショットデータ引用分類タスクにおいて, ストックモデルがF1スコア.674を達成できることが示唆された。 有望ながら、我々の結果は、データの可用性、迅速なオーバーフィッティング、計算インフラ、そして責任あるパフォーマンス評価を行うために必要なコストに関連する障壁によって評価される。

関連論文リスト

• Large Language Models and Synthetic Data for Monitoring Dataset Mentions in Research Papers [0.0]
  本稿では,研究領域間のデータセット参照検出を自動化する機械学習フレームワークを提案する。 我々は,研究論文からゼロショット抽出,品質評価のためのLCM-as-a-Judge,および改良のための推論剤を用いて,弱教師付き合成データセットを生成する。 推論では、ModernBERTベースの分類器がデータセットの参照を効率的にフィルタリングし、高いリコールを維持しながら計算オーバーヘッドを低減する。
  論文  参考訳（メタデータ） (2025-02-14T16:16:02Z)
• The Promises and Pitfalls of LLM Annotations in Dataset Labeling: a Case Study on Media Bias Detection [23.378592856800168]
  大きな言語モデル(LLM)は、アノテーションプロセスの自動化に使用することができる。 本研究では,メディアバイアス検出の複雑なタスクにLDMが適用可能であるかを検討する。 メディアバイアス分類のための,最初の大規模データセットであるAnnolexicalを作成します。
  論文  参考訳（メタデータ） (2024-11-17T14:14:36Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• A Context-Aware Approach for Enhancing Data Imputation with Pre-trained Language Models [0.18416014644193068]
  CRILMは、事前訓練された言語モデルを使用して、不足する値に対してコンテキストに関連のある記述子を作成する。 本評価は,MCAR,MAR,MNARシナリオにおけるCRILMの優れた性能とロバスト性を示す。
  論文  参考訳（メタデータ） (2024-05-28T00:08:29Z)
• DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
  OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価する このモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
  論文  参考訳（メタデータ） (2024-03-29T22:59:34Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。