論文の概要: LCSHBench: A Multilingual, Consensus-Grounded Benchmark for Library of Congress Subject Heading Assignment

• arxiv url: http://arxiv.org/abs/2606.04382v1
• Date: Wed, 03 Jun 2026 02:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.493875
• Title: LCSHBench: A Multilingual, Consensus-Grounded Benchmark for Library of Congress Subject Heading Assignment
• Title（参考訳）: LCSHBench: 議会図書館主席指名のための多言語・合意付きベンチマーク
• Authors: Kwok Leong Tang,
• Abstract要約: LCSHBench: 22,346冊の書籍を、オープンライセンスのハーバード、コロンビア、プリンストンカタログから15言語で紹介します。 レコードは、少なくとも2つの独立したカタログ局がLCSHを割り当てた場合にのみ登録される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Automated subject cataloging assigns controlledvocabulary headings to bibliographic records, but LCSH has no standard public benchmark. We introduce LCSHBench: 22,346 books in 15 languages from the openly licensed Harvard, Columbia, and Princeton catalogs. Records enter only when at least two independent cataloging agencies assigned LCSH; we release per-catalog provenance plus union and unanimous answer views. A concordance study of 465,187 works cataloged by all three libraries shows why this design matters: libraries usually agree on the underlying topic (93.3% share a concept-level heading) but often differ in exact expression (39.4% have identical heading sets). LCSHBench therefore scores both exact and concept matches, with set and rank metrics broken down by language and heading type, across open-vocabulary generation and full-vocabulary retrieval. As a first demonstration, a low-rank fine-tune of a 300M on-device embedder improves cross-lingual retrieval and beats a 3,072-dimensional hosted embedder on development exact recall@200 (0.659 vs 0.623). The language panel shows the gain is not uniform, and held-out-test and end-to-end confirmation remain future work.
• Abstract（参考訳）: 自動主題カタログ化は、書誌記録に制御語彙の見出しを割り当てるが、LCSHは標準の公開ベンチマークを持っていない。 LCSHBench: 22,346冊の書籍を、オープンライセンスのハーバード、コロンビア、プリンストンカタログから15言語で紹介します。 記録は,少なくとも2つの独立カタログ機関がLCSHを割り当てた場合にのみ登録される。 3つの図書館でカタログ化された465,187作品の一致調査は、この設計が重要である理由を示している: 図書館は通常、基礎となるトピックについて合意する(93.3%はコンセプトレベルの見出しを共有している)が、正確な表現ではしばしば異なる(39.4%は同一の見出しセットを持っている)。 したがってLCSHBenchは、オープン語彙生成とフル語彙検索にまたがって、セットとランクのメトリクスを言語と方向のタイプによって分解して、正確な値と概念の一致をスコア付けする。 最初のデモでは、300Mオンデバイス埋め込み機の低ランクファインチューンが言語横断検索を改善し、3,072次元の埋め込み機を正確なリコール@200(0.659 vs 0.623)で打ち負かす。 言語パネルは、ゲインが均一ではなく、テストが保留され、エンドツーエンドの確認が今後も継続されることを示している。

関連論文リスト

• NeuCLIRBench: A Modern Evaluation Collection for Monolingual, Cross-Language, and Multilingual Information Retrieval [39.153319100127845]
  本稿では,言語間および多言語検索のための評価コレクションであるNeuCLIRBenchについて述べる。 コレクションは中国語、ペルシア語、ロシア語で書かれた文書と、英語に翻訳された同じ文書で構成されている。 このコレクションは、英語、中国語、ペルシア語、ロシア語でのモノリンガル検索を含むいくつかの検索シナリオをサポートしている。
  論文  参考訳（メタデータ） (2025-11-18T18:58:19Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• The Faetar Benchmark: Speech Recognition in a Very Under-Resourced Language [4.077418516695122]
  Faetarには標準的な正書法がなく、ベンチマークに含まれるもの以外のテキストや音声のリソースはほとんどない。 コーパスはフィールド録音に由来するが、ほとんどはノイズがあり、5時間しか一致した書き起こしがない。 我々は,現在最先端の多言語音声基礎モデルによる電話誤り率30.4%のベースライン結果について報告する。
  論文  参考訳（メタデータ） (2024-09-12T14:55:33Z)
• Language Fairness in Multilingual Information Retrieval [9.358582006140903]
  本研究は,異なる言語にまたがる文書が適切にランク付けされているかどうかを評価するための言語公正度尺度を提案する。 群フェアネスにおける多くの先行研究とは対照的に、いかなる言語も保護されていない群とはみなさない。 提案手法であるPEERは,MLIRシステムの言語フェアネスを捉えるために特別に設計された最初のフェアネス尺度である。
  論文  参考訳（メタデータ） (2024-05-02T03:30:15Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Skywork: A More Open Bilingual Foundation Model [55.927396986873816]
  英語と中国語の両方のテキストから引き出された3.2兆以上のトークンのコーパスをトレーニングした,大規模言語モデル(LLM)のファミリーであるSkywork-13Bを紹介する。 我々のモデルは,一般的なベンチマークに優れるだけでなく,さまざまなドメインにおける中国語のモデリングにおける芸術的パフォーマンスの即興性も達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-30T08:31:47Z)
• Generative Spoken Language Model based on continuous word-sized audio tokens [52.081868603603844]
  本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。 結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2023-10-08T16:46:14Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction [19.375597786174197]
  静的な単語埋め込みと文脈表現を組み合わせた,シンプルで効果的な機構を提案する。 教師付きおよび教師なしのBLIベンチマーク設定下で, 様々な言語ペア上で, 組み合わせのメカニズムを検証した。
  論文  参考訳（メタデータ） (2021-06-06T10:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。