Fugu-MT 論文翻訳(概要): SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog

論文の概要: SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog

arxiv url: http://arxiv.org/abs/2504.07199v2
Date: Fri, 11 Apr 2025 10:14:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-21 13:25:50.096716
Title: SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog
Title（参考訳）: SemEval-2025 Task 5: LLMs4Subjects -- 国立工科図書館のオープンAccessカタログのためのLLMベースの自動主題タグ
Authors: Jennifer D'Souza, Sameer Sadruddin, Holger Israel, Mathias Begoin, Diana Slawig,
Abstract要約: 本稿では,SemEval-2025 Task 5: LLMs4Subjectsについて紹介する。参加者は、トップk被験者を推薦するシステムを開発し、定量的指標(精度、リコール、F1スコア)と、被験者の専門家による質的評価を通じて評価した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We present SemEval-2025 Task 5: LLMs4Subjects, a shared task on automated subject tagging for scientific and technical records in English and German using the GND taxonomy. Participants developed LLM-based systems to recommend top-k subjects, evaluated through quantitative metrics (precision, recall, F1-score) and qualitative assessments by subject specialists. Results highlight the effectiveness of LLM ensembles, synthetic data generation, and multilingual processing, offering insights into applying LLMs for digital library classification.
Abstract（参考訳）: 本稿では,GND分類法を用いて,英語とドイツ語の科学的・技術的記録の自動タグ付けタスクであるSemEval-2025 Task 5: LLMs4Subjectsを紹介する。参加者は、トップk被験者を推薦するLLMベースのシステムを開発し、定量指標(精度、リコール、F1スコア)と、被験者の専門家による質的評価を通じて評価した。その結果、LLMアンサンブル、合成データ生成、多言語処理の有効性を強調し、デジタル図書館分類におけるLLMの適用に関する洞察を提供する。

関連論文リスト

DNB-AI-Project at SemEval-2025 Task 5: An LLM-Ensemble Approach for Automated Subject Indexing [0.0]
我々のシステムは、知的注釈付きレコードの様々な例でLLMの選択を促すことに依存している。生成したキーワードをターゲット語彙にマップし、結果の主題語をアンサンブル投票に集約し、レコードとの関連性についてランク付けする。本システムは,全対象トラックにおける定量的ランキングでは4位であるが,主観的索引付けの専門家による質的ランキングでは最もよい結果が得られた。
論文参考訳（メタデータ） (2025-04-30T12:47:09Z)
Annif at SemEval-2025 Task 5: Traditional XMTC augmented by LLMs [0.0]
本稿では,SemEval-2025タスク5(LLM)におけるAnnifシステムについて述べる。大規模言語モデルを用いた主観的索引付けに重点を置いている。我々のアプローチは、従来の自然言語処理と機械学習技術を組み合わせています。
論文参考訳（メタデータ） (2025-04-28T11:04:23Z)
Summarization Metrics for Spanish and Basque: Do Automatic Scores and LLM-Judges Correlate with Humans? [6.974741712647656]
我々はバスク語とスペイン語で2,040の抽象的な要約に関する人間の判断を収集する。各要約において、アノテータはコヒーレンス、一貫性、流布性、妥当性、および5W1Hという5点類似度尺度の5つの基準を評価した。我々はBASSEとコードを公開し、22,525のニュース記事とサブヘッドを含む最初の大規模バスク要約データセットを公開します。
論文参考訳（メタデータ） (2025-03-21T10:52:20Z)
Latent Factor Models Meets Instructions:Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
Instruct-LFはゴール指向の潜在因子発見システムである。命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
論文参考訳（メタデータ） (2025-02-21T02:03:08Z)
GuideLLM: Exploring LLM-Guided Conversation with Applications in Autobiography Interviewing [73.8469700907927]
大規模言語モデル(LLM)は、指示の追従や質問応答といった人間の指導による会話に成功している。本研究では, LLM誘導会話を, ゴールナビゲーション, (ii) コンテキストマネジメント, (iii) 共感エンゲージメントの3つの基本要素に分類した。 GPT-4o や Llama-3-70b-Instruct のような6つの最先端 LLM と比較し, 面接品質, 自伝生成品質の観点から検討した。
論文参考訳（メタデータ） (2025-02-10T14:11:32Z)
DOCBENCH: A Benchmark for Evaluating LLM-based Document Reading Systems [99.17123445211115]
本稿では,大規模言語モデル(LLM)に基づく文書読解システムを評価するベンチマークであるDocBenchを紹介する。我々のベンチマークには、人間のアノテーションの募集と、合成質問の生成が含まれる。実際の文書は229件、質問は1,102件で、5つのドメインにまたがって4種類の質問がある。
論文参考訳（メタデータ） (2024-07-15T13:17:42Z)
Unveiling LLM Evaluation Focused on Metrics: Challenges and Solutions [2.5179515260542544]
大規模言語モデル (LLM) は、テキスト生成、質問応答、テキスト要約における汎用的な応用のために、学界や業界全体で大きな注目を集めている。パフォーマンスを定量化するためには、既存のメトリクスを包括的に把握することが重要です。本稿では,メトリクスの観点からLLM評価を包括的に調査し,現在使用されているメトリクスの選択と解釈について考察する。
論文参考訳（メタデータ） (2024-04-14T03:54:00Z)
Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
論文参考訳（メタデータ） (2024-02-21T00:44:04Z)
Large Language Models: A Survey [66.39828929831017]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文参考訳（メタデータ） (2024-02-09T05:37:09Z)
A Survey on Large Language Models for Software Engineering [15.468484685849983]
大規模言語モデル(LLM)は、幅広いソフトウェア工学(SE)タスクを自動化するために使われる。本稿では,LLMを基盤としたSEコミュニティにおける最先端の研究について概説する。
論文参考訳（メタデータ） (2023-12-23T11:09:40Z)
Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
論文参考訳（メタデータ） (2023-11-15T18:25:26Z)
Large Language Models for Software Engineering: A Systematic Literature Review [34.12458948051519]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)を含む多くの領域に大きな影響を与えている。我々は、2017年1月から2024年1月までの395件の研究論文を選定、分析し、4つの重要な研究質問(RQ)に答える。これらのRQに対する回答から、現在の最先端とトレンド、既存の研究のギャップの特定、今後の研究に向けた有望な領域のフラグ付けなどについて論じる。
論文参考訳（メタデータ） (2023-08-21T10:37:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。