論文の概要: DNB-AI-Project at SemEval-2025 Task 5: An LLM-Ensemble Approach for Automated Subject Indexing

• arxiv url: http://arxiv.org/abs/2504.21589v1
• Date: Wed, 30 Apr 2025 12:47:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 18:51:58.196957
• Title: DNB-AI-Project at SemEval-2025 Task 5: An LLM-Ensemble Approach for Automated Subject Indexing
• Title（参考訳）: SemEval-2025 Task 5におけるDNB-AIプロジェクト:自動主題インデックス作成のためのLLM-Ensembleアプローチ
• Authors: Lisa Kluge, Maximilian Kähler,
• Abstract要約: 我々のシステムは、知的注釈付きレコードの様々な例でLLMの選択を促すことに依存している。 生成したキーワードをターゲット語彙にマップし、結果の主題語をアンサンブル投票に集約し、レコードとの関連性についてランク付けする。 本システムは,全対象トラックにおける定量的ランキングでは4位であるが,主観的索引付けの専門家による質的ランキングでは最もよい結果が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents our system developed for the SemEval-2025 Task 5: LLMs4Subjects: LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog. Our system relies on prompting a selection of LLMs with varying examples of intellectually annotated records and asking the LLMs to similarly suggest keywords for new records. This few-shot prompting technique is combined with a series of post-processing steps that map the generated keywords to the target vocabulary, aggregate the resulting subject terms to an ensemble vote and, finally, rank them as to their relevance to the record. Our system is fourth in the quantitative ranking in the all-subjects track, but achieves the best result in the qualitative ranking conducted by subject indexing experts.
• Abstract（参考訳）: 本稿では,SemEval-2025 Task 5: LLMs4Subjects: LLM-based Subject Tagging for a National Technical Library's Open-Access Catalogについて述べる。 提案システムは,知的注釈付きレコードの様々な例を用いてLLMの選択を促すことと,LLMに類似した新しいレコードのキーワードを提案することに依存する。 この数発のプロンプト技術は、生成したキーワードをターゲット語彙にマッピングする一連の後処理ステップと組み合わせて、結果の主題語をアンサンブル投票に集約し、最後に、それらがレコードとの関係についてランク付けする。 本システムは,全対象トラックの定量的ランキングでは4位だが,主観的索引付けの専門家による質的ランキングでは最良である。

関連論文リスト

• Homa at SemEval-2025 Task 5: Aligning Librarian Records with OntoAligner for Subject Tagging [1.2582887633807602]
  本稿では,SemEval-2025 Task 5: Subject TaggingのためのHomaについて述べる。 GND(Gemeinsame Normdatei)分類を用いて、TIBKATの技術的記録に主題ラベルを自動的に割り当てることに焦点を当てている。 提案手法では,対象のタグ付け問題をアライメントタスクとして定式化し,意味的類似性に基づいたカテゴリにレコードをマッチングする。
  論文  参考訳（メタデータ） (2025-04-30T09:52:51Z)
• Annif at SemEval-2025 Task 5: Traditional XMTC augmented by LLMs [0.0]
  本稿では,SemEval-2025タスク5(LLM)におけるAnnifシステムについて述べる。 大規模言語モデルを用いた主観的索引付けに重点を置いている。 我々のアプローチは、従来の自然言語処理と機械学習技術を組み合わせています。
  論文  参考訳（メタデータ） (2025-04-28T11:04:23Z)
• SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog [0.0]
  本稿では,SemEval-2025 Task 5: LLMs4Subjectsについて紹介する。 参加者は、トップk被験者を推薦するシステムを開発し、定量的指標(精度、リコール、F1スコア)と、被験者の専門家による質的評価を通じて評価した。
  論文  参考訳（メタデータ） (2025-04-09T18:26:46Z)
• Prompt and circumstance: A word-by-word LLM prompting approach to interlinear glossing for low-resource languages [6.4977738682502295]
  SIGMORPHON 2023共有タスクから7つの言語に適用した,検索に基づくLLM探索手法の有効性について検討した。 我々のシステムは、形態素レベルスコアカテゴリーの全ての言語に対するBERTベースの共有タスクベースラインを破る。 Tsez のケーススタディでは,LLM に言語命令の自動生成と追従を依頼し,難解な文法的特徴の誤りを低減させる。
  論文  参考訳（メタデータ） (2025-02-13T21:23:16Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• DOCBENCH: A Benchmark for Evaluating LLM-based Document Reading Systems [99.17123445211115]
  本稿では,大規模言語モデル(LLM)に基づく文書読解システムを評価するベンチマークであるDocBenchを紹介する。 我々のベンチマークには、人間のアノテーションの募集と、合成質問の生成が含まれる。 実際の文書は229件、質問は1,102件で、5つのドメインにまたがって4種類の質問がある。
  論文  参考訳（メタデータ） (2024-07-15T13:17:42Z)
• CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
  我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。 我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-06-07T15:23:53Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
  本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。 本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
  論文  参考訳（メタデータ） (2024-02-26T20:33:50Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。