論文の概要: Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature

• arxiv url: http://arxiv.org/abs/2607.14882v1
• Date: Thu, 16 Jul 2026 11:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.086986
• Title: Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature
• Title（参考訳）: ジェネレーティブAIはXMLCを監督するか? : ドイツ科学文献を用いた自動主題索引作成のベンチマーク研究
• Abstract要約: 本研究では,現代ドイツの学術文献の主観的索引付けテストケースに対して,専門化されたXMLC手法の選択を適用した。 全ての手法の課題は、主題語彙の長い尾から確実に提案することである。 教師付きXMLCアルゴリズムは、トランスフォーマーベースの高密度な機能に依存しており、全体的なバイナリ関連度指標の点で最高の結果が得られることが分かりました。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With a large controlled vocabulary as the label set, the task of automated subject indexing in a library can be understood as a multi-label classification task. If the set of subject terms is large, the problem fits the Extreme Multi-Label Classification (XMLC) objective. In this study, we apply a selection of specialised supervised XMLC methods to the test case of subject indexing contemporary German scientific literature, collected at the German National Library (DNB). We contrast these results by including a classical lexical matching baseline and three of our own recently developed LLM-based methods into the benchmark. Algorithms are evaluated and compared in several metrics. This includes binary relevance comparisons with previously indexed material, as well as graded relevance ratings by professional subject librarians. A challenge for all methods is to reliably make suggestions from the long tail of the subject vocabulary. We find that supervised XMLC algorithms relying on transformer-based dense features give best results in terms of overall binary relevance metrics. However, focusing on graded relevance and performance in the long tail of our subject vocabulary, the LLM-based generative methods give better results, making them a promising alternative for future productive use.
• Abstract（参考訳）: ラベル集合として大きく制御された語彙によって、ライブラリにおける自動主題インデックス化のタスクは、マルチラベル分類タスクとして理解することができる。 対象用語の集合が大きければ、その問題はExtreme Multi-Label Classification (XMLC)の目的に適合する。 本研究では,ドイツ国立図書館(DNB)で収集された現代ドイツの学術文献を主観的に索引付けするテストケースに対して,専門化されたXMLC手法の選択を適用した。 従来の語彙マッチングベースラインと,最近開発したLSMに基づく3つの手法をベンチマークに含めることで,これらの結果を比較した。 アルゴリズムはいくつかの指標で評価され、比較される。 これには、以前に索引付けされた資料とのバイナリ関連性比較や、専門的な主題の図書館員による格付けされた関連性評価が含まれる。 全ての手法の課題は、主題語彙の長い尾から確実に提案することである。 教師付きXMLCアルゴリズムは、トランスフォーマーベースの高密度な機能に依存しており、全体的なバイナリ関連度指標の点で最高の結果が得られることが分かりました。 しかし,LLMをベースとした生成手法は,主語語彙の長い尾の段階的関連性や性能に着目することで,より優れた結果が得られ,将来的な生産的利用の代替案として期待できる。

関連論文リスト

• AgenticTagger: Structured Item Representation for Recommendation with LLM Agents [58.12004213978182]
  AgenticTagger は LLM をクエリして,項目をテキスト記述子のシーケンスで表現するフレームワークである。 アイテムコーパス内の語彙を効果的かつ効率的に基底化するために,多エージェント反射機構を設計する。 公開データとプライベートデータの実験では、AgenticTaggerがさまざまなレコメンデーションシナリオに一貫した改善をもたらしている。
  論文  参考訳（メタデータ） (2026-02-05T18:01:37Z)
• From Quotes to Concepts: Axial Coding of Political Debates with Ensemble LMs [3.7765376220172393]
  我々は、大言語モデル(LLM)で軸符号化を運用する。 長い書き起こしをコンパクトで階層的に構造化されたコードやカテゴリに変換する。 今後の研究をサポートするため、発話とコードの全データセットを公開しています。
  論文  参考訳（メタデータ） (2026-01-20T13:20:31Z)
• Sorting the Babble in Babel: Assessing the Performance of Language Detection Algorithms on the OpenAlex Database [1.0124625066746598]
  本研究の目的は,OpenAlexデータベースから手作業による注釈付き記事から抽出した,さまざまな言語分類手順,Python言語検出アルゴリズムとメタデータベースのコーパスを組み合わせることにある。 アルゴリズム,コーパス,言語,および各アルゴリズムおよびコーパスタイプに記録された処理速度の精度とリコール性能の解析を行い,データベースレベルでの全体的なプロシージャ性能をシミュレートした。 その結果, プロシージャのパフォーマンスは, 実施した各対策の重要度に大きく依存していることが示唆された。 これらの結果は,OpenAlexデータベースの言語横断的,文献的可能性の検証と育成に有効であることが期待されている。
  論文  参考訳（メタデータ） (2025-02-05T21:29:09Z)
• ClassEval-T: Evaluating Large Language Models in Class-Level Code Translation [19.69195067838796]
  クラスレベルのコード翻訳ベンチマークであるClassEval-Tを構築し、クラスレベルのコード翻訳における最近のLLMの性能を広範囲に評価する最初の試みを行う。 完全なコードサンプルと関連するテストスイートを使って、JavaとC++への手動移行を実現するのに、私たちは360人時間を費やしました。 実験結果は,最も広く研究されているメソッドレベルのコード翻訳ベンチマークと比較して,顕著な性能低下を示した。
  論文  参考訳（メタデータ） (2024-11-09T11:13:14Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Ungrammatical-syntax-based In-context Example Selection for Grammatical Error Correction [8.655807096424732]
  本稿では,文法的誤り訂正のための非文法的シンタクスに基づく文内例選択手法を提案する。 具体的には,多種多様なアルゴリズムを用いた構文構造に基づいて文の類似度を測定し,テスト入力に最もよく似た不規則な構文を共有する最適なICL例を同定する。
  論文  参考訳（メタデータ） (2024-03-28T10:05:57Z)
• Automatic Smart Contract Comment Generation via Large Language Models and In-Context Learning [11.52122354673779]
  本研究では,大規模言語モデル(LLM)と文脈内学習に基づくSCCLLMのアプローチを提案する。 具体的には、デモ選択フェーズにおいて、SCCLLMは歴史的コーパスからトップkコードスニペットを検索する。 コンテキスト内学習フェーズでは、SCCLLMは検索したコードスニペットをデモとして利用する。
  論文  参考訳（メタデータ） (2023-11-17T08:31:09Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• On the Usefulness of Embeddings, Clusters and Strings for Text Generator Evaluation [86.19634542434711]
  Mauveは、弦上の2つの確率分布間の情報理論のばらつきを測定する。 我々は,Mauveが誤った理由で正しいことを示し,新たに提案された分岐はハイパフォーマンスには必要ないことを示した。 テキストの構文的およびコヒーレンスレベルの特徴を符号化することで、表面的な特徴を無視しながら、文字列分布に対するクラスタベースの代替品は、単に最先端の言語ジェネレータを評価するのに良いかもしれない、と結論付けています。
  論文  参考訳（メタデータ） (2022-05-31T17:58:49Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• Rank over Class: The Untapped Potential of Ranking in Natural Language Processing [8.637110868126546]
  我々は、現在分類を用いて対処されている多くのタスクが、実際には分類モールドに切り替わっていると論じる。 本稿では,一対のテキストシーケンスの表現を生成するトランスフォーマーネットワークからなる新しいエンドツーエンドランキング手法を提案する。 重く歪んだ感情分析データセットの実験では、ランキング結果を分類ラベルに変換すると、最先端のテキスト分類よりも約22%改善する。
  論文  参考訳（メタデータ） (2020-09-10T22:18:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。