論文の概要: English Word Sense Disambiguation in 2026: When the Labels Become the Bottleneck

• arxiv url: http://arxiv.org/abs/2609.17554v1
• Date: Sun, 19 Jul 2026 23:24:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.55351
• Title: English Word Sense Disambiguation in 2026: When the Labels Become the Bottleneck
• Title（参考訳）: 2026年の英単語センスの曖昧さ:ラベルがボトルネックになったとき
• Abstract要約: 我々は、Maru2022のALL_NEWベンチマークの補正層として構築されたWSD評価ベンチマークであるlexENをリリースする。 レキセン-v1では、フロンティアのLSMは95%近く(ベスト、95.6%)収束し、上位3つの家系は統計的に区別できない。 修復されたラベルをトレーニングした298MのバイエンコーダであるGlite LENSとラバー付きコーパスをリリースする。
• 参考スコア（独自算出の注目度）: 0.5621251909851629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In English all-words word sense disambiguation (WSD), the labels, not the models, have become the bottleneck: frontier LLMs are accurate enough that the errors surviving in the gold standard decide benchmark rankings -- in the test sets we score on and, as we show causally, in the corpus we train on. We release lexEN, a WSD evaluation benchmark built as a conservative, human-adjudicated correction layer over Maru2022's ALL_NEW benchmark (211 labels changed, 56 removed), and SenseBench, an auditable LLM WSD evaluation harness and living leaderboard (57 models, 192 runs). The task is inventory-constrained multiple choice (the model picks from the supplied WordNet senses), so the reported accuracies are a ceiling on what models achieve without that help. On lexEN-v1 the frontier LLMs converge near 95% (best, 95.6%), the top three families are statistically indistinguishable, and accuracy trades off against reasoning effort and cost across a ~2,500x price span. Relabeling SemCor with frontier models and retraining BEM, ESCHER, and ConSeC unchanged lifts them by several F1 points on test sets the relabeling never touched; we release the relabeled corpora and Glite LENS, a 298M bi-encoder trained on the repaired labels -- to our knowledge the strongest reported (83.6 Raganato ALL, 87.4 Maru ALL_NEW) -- serving at ~$0.13 per million items. On hard items, fine-grained WordNet senses are partly ill-posed even for experts (three-reviewer Fleiss kappa=0.537); coarsening raises annotator agreement and model accuracy together across four inventories, placing a top model inside the expert agreement band at coarse granularity (statistically equivalent under three of four) but significantly below it at fine. The binding constraint is now cost.
• Abstract（参考訳）: 原文(投稿日:2010/09/17)へのリンク 英語のオールワードワードセンス曖昧化(WSD)では、モデルではなくラベルがボトルネックになっている。 我々は、Maru2022のALL_NEWベンチマーク(211のラベル変更、56の削除)の上に、保守的で人為的な修正層として構築されたWSD評価ベンチマークであるlexENと、監査可能なLLM WSD評価ハーネスであるSenseBench(57モデル、192ラン)をリリースする。 このタスクは在庫に制約のある複数の選択(モデルは供給されたWordNetセンサーから選択される)なので、報告された精度は、その助けなしにモデルが達成するものの天井となる。 lexEN-v1では、フロンティアLSMは95%近く(ベスト、95.6%)に収束し、上位3つのファミリーは統計的に区別できない。 We release the relabeled corpora and Glite LENS, a 298M bi-encoder, the repaired labels -- 我々の知る限り、最強の報告(83.6 Raganato ALL, 87.4 Maru ALL_NEW) -- は、約0.13パーセンテージのアイテムを提供する。 ハードアイテムでは、きめ細かいWordNet感覚は、専門家(3人のレビュアであるFleiss kappa=0.537)にも一部悪用される。 バインディングの制約がコストになった。

関連論文リスト

• Evaluating Decision Models for Text Annotation in Computational Social Science [0.7792020418343021]
  決定モデルは、選択された型付き質問、ラベルセット上の確率分布、自由テキストよりも信頼スコアに答える。 最初の商用決定モデルと2つのオープンウェイトな決定モデルと、19のフロンティアとオープンウェイトな言語モデルを比較します。 我々の結果は、決定モデルがアノテーションパイプラインの第一歩として有用であることを示唆している。
  論文  参考訳（メタデータ） (2026-09-21T13:41:54Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
  我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。 セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-17T09:50:52Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• BioSentinel at EXIST 2026: Soft-Label Optimization with XLM-RoBERTa for Sexism Intent Classification in Memes [0.8749675983608171]
  本稿では,バイオセンチネルチームによるEXIST 2026 Task 2.2: Source Intention in Memesへの参加について述べる。 この課題には、ミームの背後にあるコミュニケーション意図を、直接的、判断的、あるいは(非性的な)ノーとして分類する必要がある ソフトアノテータ分布にKL分散を組み込んだ複合損失関数を用いて訓練したxlm-roberta-base(270Mパラメータ)に基づくテキスト中心のアプローチを提案する。
  論文  参考訳（メタデータ） (2026-07-27T08:18:05Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Measurement Risk in Supervised Financial NLP: Rubric and Metric Sensitivity on JF-ICR [1.7107991816118835]
  我が国の金融インシシデント・コミット認識における測定リスクについて検討する。 ルーブリックな単語は、モデル指定ラベルを根本的に変えることが判明した。 すべての計量は、JF-ICRクラス分布の下では情報的ではない。
  論文  参考訳（メタデータ） (2026-04-30T03:39:14Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。