論文の概要: SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog

• arxiv url: http://arxiv.org/abs/2504.07199v2
• Date: Fri, 11 Apr 2025 10:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 10:55:44.450263
• Title: SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog
• Title（参考訳）: SemEval-2025 Task 5: LLMs4Subjects -- 国立工科図書館のオープンAccessカタログのためのLLMベースの自動主題タグ
• Authors: Jennifer D'Souza, Sameer Sadruddin, Holger Israel, Mathias Begoin, Diana Slawig,
• Abstract要約: 本稿では,SemEval-2025 Task 5: LLMs4Subjectsについて紹介する。 参加者は、トップk被験者を推薦するシステムを開発し、定量的指標(精度、リコール、F1スコア)と、被験者の専門家による質的評価を通じて評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present SemEval-2025 Task 5: LLMs4Subjects, a shared task on automated subject tagging for scientific and technical records in English and German using the GND taxonomy. Participants developed LLM-based systems to recommend top-k subjects, evaluated through quantitative metrics (precision, recall, F1-score) and qualitative assessments by subject specialists. Results highlight the effectiveness of LLM ensembles, synthetic data generation, and multilingual processing, offering insights into applying LLMs for digital library classification.
• Abstract（参考訳）: 本稿では,GND分類法を用いて,英語とドイツ語の科学的・技術的記録の自動タグ付けタスクであるSemEval-2025 Task 5: LLMs4Subjectsを紹介する。 参加者は、トップk被験者を推薦するLLMベースのシステムを開発し、定量指標(精度、リコール、F1スコア)と、被験者の専門家による質的評価を通じて評価した。 その結果、LLMアンサンブル、合成データ生成、多言語処理の有効性を強調し、デジタル図書館分類におけるLLMの適用に関する洞察を提供する。

関連論文リスト

• GuideLLM: Exploring LLM-Guided Conversation with Applications in Autobiography Interviewing [73.8469700907927]
  大規模言語モデル(LLM)は、指示の追従や質問応答といった人間の指導による会話に成功している。 本研究では, LLM誘導会話を, ゴールナビゲーション, (ii) コンテキストマネジメント, (iii) 共感エンゲージメントの3つの基本要素に分類した。 GPT-4o や Llama-3-70b-Instruct のような6つの最先端 LLM と比較し, 面接品質, 自伝生成品質の観点から検討した。
  論文  参考訳（メタデータ） (2025-02-10T14:11:32Z)
• Code LLMs: A Taxonomy-based Survey [7.3481279783709805]
  大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示している。 LLMは最近、自然言語(NL)とプログラミング言語(PL)のギャップを埋めて、コーディングタスクへの影響を拡大した。
  論文  参考訳（メタデータ） (2024-12-11T11:07:50Z)
• Open Llama2 Model for the Lithuanian Language [0.0]
  リトアニア語に対する最初のオープンなLlama2大言語モデル(LLM)を提案し,記述する。 本稿では,オープン地域LSMの簡単なレビューと,提案するLSMとそのトレーニングプロセスの詳細情報について述べる。
  論文  参考訳（メタデータ） (2024-08-23T10:18:39Z)
• DOCBENCH: A Benchmark for Evaluating LLM-based Document Reading Systems [99.17123445211115]
  本稿では,大規模言語モデル(LLM)に基づく文書読解システムを評価するベンチマークであるDocBenchを紹介する。 我々のベンチマークには、人間のアノテーションの募集と、合成質問の生成が含まれる。 実際の文書は229件、質問は1,102件で、5つのドメインにまたがって4種類の質問がある。
  論文  参考訳（メタデータ） (2024-07-15T13:17:42Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• Unveiling LLM Evaluation Focused on Metrics: Challenges and Solutions [2.5179515260542544]
  大規模言語モデル (LLM) は、テキスト生成、質問応答、テキスト要約における汎用的な応用のために、学界や業界全体で大きな注目を集めている。 パフォーマンスを定量化するためには、既存のメトリクスを包括的に把握することが重要です。 本稿では,メトリクスの観点からLLM評価を包括的に調査し,現在使用されているメトリクスの選択と解釈について考察する。
  論文  参考訳（メタデータ） (2024-04-14T03:54:00Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• A Survey on Large Language Models for Software Engineering [15.468484685849983]
  大規模言語モデル(LLM)は、幅広いソフトウェア工学(SE)タスクを自動化するために使われる。 本稿では,LLMを基盤としたSEコミュニティにおける最先端の研究について概説する。
  論文  参考訳（メタデータ） (2023-12-23T11:09:40Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。