論文の概要: IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law
- arxiv url: http://arxiv.org/abs/2609.22529v1
- Date: Fri, 18 Sep 2026 19:36:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.877687
- Title: IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law
- Title（参考訳）: IntLawNER:国際法におけるエンティティ認識データセットとベンチマーク
- Abstract要約: NERデータセットと国際法定情報源のベンチマークであるIntLawNERを紹介する。
IntLawNERは、国際司法裁判所(ICJ)の判決、国連安全保障理事会の決議、欧州人権裁判所(ECtHR)の判決から2,987の金注記文と8,094の実体をカバーしている。
IntLawNERは、468kのソース文をコンパクトなアノテーションセットに削減するコスト効率のよいハイブリッドアルゴリズム・アジェンティックパイプラインで構築する。
- 参考スコア（独自算出の注目度）: 0.5039813366558307
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: International law provides the normative framework through which states coordinate action, regulate armed conflict, and protect human rights, yet its texts remain without token-level named entity recognition (NER) resources. We introduce IntLawNER, a NER dataset and benchmark for codified sources of international law, covering 2,987 gold-annotated sentences and 8,094 entity spans from International Court of Justice (ICJ) decisions, UN Security Council resolutions, and European Court of Human Rights (ECtHR) judgments, annotated with seven institution-specific entity types. We construct IntLawNER with a cost-effective hybrid algorithmic-agentic pipeline that reduces 468k source sentences to a compact annotation set through candidate retrieval, LLM-based vetting, and human review, with 89.6% of gold spans accepted unchanged from the silver layer. However, the silver-to-gold analysis reveals that human-machine aggregate agreement metrics can be misleading in domain-specific NER: Cohen's kappa=0.964 on boundary-matched spans masks a macro-F1 of 0.753 when missing entities, boundary errors, and label corrections are included. The benchmark shows that zero-shot span-based GLiNER collapses on entity types dependent on institutional function rather than surface form (0.243 micro-F1), while fine-tuned transformers struggle on rare labels. Carefully selected few-shot examples that demonstrate label contrasts improve every LLM over zero-shot prompting, with Claude Opus 4.6 reaching the best score of 0.873 micro-F1. We release IntLawNER as a benchmark and reusable resource for extracting references in international legal texts.
- Abstract（参考訳）: 国際法は、国家が行動のコーディネート、武装紛争の規制、人権保護を行う規範的な枠組みを提供するが、そのテキストはトークンレベルの名前付きエンティティ認識(NER)リソースを含まないままである。
IntLawNERは、国際法の典拠のNERデータセットとベンチマークであり、国際司法裁判所(ICJ)の決定、国連安全保障理事会決議、欧州人権裁判所(ECtHR)の判断から、金の注釈付き文2,987件、エンティティ8,094件をカバーし、7つの機関固有のエンティティタイプで注釈付けされている。
IntLawNERは、468kのソース文を候補検索、LCMベースのベッティング、人間によるレビューによって設定したコンパクトなアノテーションに還元し、89.6%の金が銀層から変更されている。
コーエンのカッパ=0.964は境界整合スパンのマスクで、エンティティの欠落、境界誤差、ラベルの修正を含むと0.753のマクロF1となる。
ベンチマークでは、ゼロショットスパンベースのGLiNERは表面形状(0.243マイクロF1)よりも組織機能に依存するエンティティタイプで崩壊し、微調整トランスフォーマーは希少なラベルで苦労している。
ラベルのコントラストがゼロショットのプロンプトよりも改善され、クロード・オプス4.6が0.873マイクロF1の最高スコアに達した。
IntLawNERは国際法文書から参照を抽出するためのベンチマークおよび再利用可能なリソースである。
関連論文リスト
- Custom Named Entity Recognition and Topic Classification for Global Health Publications [0.3823356975862005]
この論文は、セマンティックタグ発見、名前付きエンティティ認識(NER)、マルチラベルトピック分類の実験を通じて課題を調査する。
まず, プログレッシブな特殊コーパスをトレーニングしたスキップグラム word2vec モデルを BioWordVec と比較し, コーパスサイズとドメインコンテキストがタグ発見に与える影響を評価する。
この分析結果はエンティティ抽出に変わり、1000の注釈付き文で畳み込みのspurCyモデルとRoBERTaベースの変換器を比較した。
論文 参考訳（メタデータ） (2026-09-21T14:09:53Z) - Grounded Normative Rule Generation with Structured Search [47.28595196084396]
基底ノルム規則合成(GNRS)として問題を定式化する。
GNRS-SearchはMarkov Chain Monte Carlo(MCMC)サンプリングを利用して、離散5スロットアンドオーグラフ(AOG)を最適化するフレームワークである。
GNRS-Benchは8つのシーンにまたがる116の制御目標にまたがるベンチマークであり、RealCharterBenchは53のリアルなポリシータスクに隠れたソース節で遷移を評価する。
論文 参考訳（メタデータ） (2026-08-23T05:43:42Z) - Beyond Agreement: Scoring Panel-Surfaced Biomedical Entity Candidates for Curator Triage [9.567389772368612]
パネル面候補検証のための候補レベルパネル出力ベンチマークを導入する。
このベンチマークは、5つの公開バイオメディカルNERデータセットに対して8つのLSMの予測を候補マスターテーブルに一致させる。
BioConCalはドメイン内の教師付きスコアラで、推論時間に金のない合意でこのレイヤをインスタンス化する。
論文 参考訳（メタデータ） (2026-05-29T04:26:13Z) - Automated Benchmark Auditing for AI Agents and Large Language Models [46.03841647776303]
Auto Benchmark Audit (ABA)は、個々のベンチマークタスクを体系的に監査するエージェントフレームワークである。
私たちは、9つのドメインで合計168のベンチマークで、Frontier LLMベンチマークと以前のNeurIPSパブリッシュのコレクションでABAを実行しています。
ABAは、不明瞭なタスク設計、実行環境の矛盾、そして、評価されたタスクの25.7%以上において、誤った根拠の真実を含む重要な問題を特定する。
論文 参考訳（メタデータ） (2026-05-25T17:44:21Z) - Automatic Construction of a Legal Citation Graph from 100 Million Ukrainian Court Decisions: Large-Scale Extraction, Topological Analysis, and Ontology-Driven Clustering [0.0]
ウクライナの裁判所決定から抽出された1070万件の訴訟の端は、司法の引用構造が監督なしで法域の境界をコードしていることを示している。
完全SRレジストリから最初の大規模引用グラフ(9950万全文、1.1TB)を構築する。
論文 参考訳（メタデータ） (2026-05-14T19:42:20Z) - Navigating Global AI Regulation: A Multi-Jurisdictional Retrieval-Augmented Generation System [1.4700417433722486]
我々は,グローバルAI規制のための多変量検索拡張生成システムを提案する。
このシステムは、異種文書間の法的構造を保存するタイプ固有のチャンキング、法的な引用のためのエンティティ検出とメタデータによる条件付き検索ルーティング、およびポリシーや二次的情報源に対する法制化法案の強化のための優先順位に基づく再ランク付けという3つの技術的貢献を行う。
論文 参考訳（メタデータ） (2026-04-28T09:58:18Z) - Transformer-based Entity Legal Form Classification [43.75590166844617]
本稿では,形式分類のためのトランスフォーマーに基づく言語モデルを提案する。
BERTのバリエーションを多用し、その性能を従来の複数のベースラインと比較する。
以上の結果から,事前学習したBERT変種は従来のテキスト分類法よりもF1スコアで優れていた。
論文 参考訳（メタデータ） (2023-10-19T14:11:43Z) - Relational Proxies: Emergent Relationships as Fine-Grained
Discriminators [52.17542855760418]
本稿では,オブジェクトのグローバル部分とローカル部分の間の情報を利用してラベルを符号化する手法を提案する。
我々は、理論的な結果に基づいてプロキシを設計し、7つの挑戦的なきめ細かいベンチマークデータセットに基づいて評価する。
また、この理論を実験的に検証し、複数のベンチマークで一貫した結果を得る。
論文 参考訳（メタデータ） (2022-10-05T11:08:04Z) - Recognizing Chinese Judicial Named Entity using BiLSTM-CRF [10.676125626144142]
双方向長短期メモリ(BiLSTM)と条件付きランダムフィールド(CRF)を組み合わせた深層学習に基づくBiLSTM-CRFを提案する。
提案手法を検証するため,中国ジャッジメントオンラインから取得した,通勤・仮釈放・仮サービス等の判定文書の実験を行った。
実験の結果, 0.876の精度, 0.856のリコール, F1のスコア0.855の精度が得られ, 提案したBiLSTM-CRFのAdamとの優位性が示唆された。
論文 参考訳（メタデータ） (2020-05-31T08:13:00Z) - On the Limitations of Cross-lingual Encoders as Exposed by
Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。
本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。
事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。
参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文 参考訳（メタデータ） (2020-05-03T22:10:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。