論文の概要: EURO-5K: When Does Domain Pretraining Matter? Benchmarking Transformers for EU Reporting Obligation Extraction

• arxiv url: http://arxiv.org/abs/2606.02971v1
• Date: Tue, 02 Jun 2026 00:20:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.650859
• Title: EURO-5K: When Does Domain Pretraining Matter? Benchmarking Transformers for EU Reporting Obligation Extraction
• Title（参考訳）: EURO-5K:ドメインの事前学習はいつ重要か?
• Authors: Marios Koniaris, Vasileios Kotronis, Eugenia Giannini, Panayiotis Tsanakas,
• Abstract要約: EURO-5K(英: EURO-5K)は、欧州連合の136の立法機関による判決レベルの報告義務のコーパスである。 このデータセットでは、差別的トークン分類モデル(BERTスタイル)と生成的スパン抽出モデル(LLM)を訓練し比較する。 その結果,完全微調整の汎用と法定のBERTモデルでは同様の性能(0.89 F1)が得られ,微調整のLLMは文レベルの抽出にエンコーダの精度が一致することがわかった。
• 参考スコア（独自算出の注目度）: 0.2862116232860273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extracting reporting obligations from EU legislation is critical for assessing and reducing regulatory reporting burden. However, distinguishing reporting requirements from structurally similar provisions requires specialised legal understanding. Current legal NLP methods lack specialised datasets with clear guidelines and comparative evaluation of extraction paradigms and domain adaptation strategies. We curate EURO-5K, a corpus of sentence-level reporting obligations and challenging negative examples from 136 EU legislative acts. On this dataset, we train and compare discriminative token-classification models (BERT-style) and generative span-extraction models (LLMs), evaluating both full fine-tuning and parameter-efficient QLoRA against baselines (pattern and dependency-based extraction, few-shot prompting). Results show that fully fine-tuned generic and legal BERT models achieve similar performance (0.89 F1), while fine-tuned LLMs match encoder accuracy for sentence-level extraction. Legal pretraining offers only small gains for generative models. In contrast, it is clearly beneficial when adaptation capacity is constrained, as parameter-efficient tuning of Legal-BERT outperforms its generic counterpart. Learning curve analysis demonstrates that legal pretraining accelerates early learning with minimal data. All approaches converge around 3K samples with diminishing returns thereafter, validating dataset sufficiency. Cross-dataset evaluation on two external regulatory corpora shows that our models behave as specialised reporting obligation extractors rather than generic regulatory classifiers. We release EURO-5K, trained models, and an interactive demo with explainability visualizations and structured RDF export. These demonstrate that both paradigms and parameter-efficient training provide practical tools for regulatory compliance automation.
• Abstract（参考訳）: EU法から報告義務を抽出することは、規制報告の負担の評価と軽減に不可欠である。 しかし、報告要件と構造的に類似した規定を区別するには、特別な法的理解が必要である。 現在の法的なNLP法では、明確なガイドラインと抽出パラダイムとドメイン適応戦略の比較評価を備えた特別なデータセットが欠如している。 EURO-5Kは、文レベルの報告義務のコーパスであり、EUの立法法136条の否定的な例である。 本データセットでは,識別トークン分類モデル(BERTスタイル)と生成スパン抽出モデル(LLM)を比較し,ベースライン(パターンと依存性に基づく抽出,少数ショットプロンプト)に対して完全な微調整およびパラメータ効率のQLoRAを評価する。 その結果,完全微調整の汎用と法定のBERTモデルでは同様の性能(0.89 F1)が得られ,微調整のLLMは文レベルの抽出にエンコーダの精度が一致することがわかった。 法的な事前訓練は、生成モデルに対して小さな利益しか提供しない。 対照的に、Legal-BERTのパラメータ効率のチューニングは、汎用的な性能よりも優れているため、適応能力に制約がある場合、明らかに有益である。 学習曲線解析は、法的な事前学習が最小限のデータで早期学習を加速することを示す。 すべてのアプローチは、3Kサンプルを中心に収束し、その後はリターンが減少し、データセットの十分性を検証する。 2つの外部規制コーパスにおけるデータセット間の評価は、我々のモデルは、一般的な規制分類器ではなく、特別な報告義務抽出器として振る舞うことを示している。 我々は、EURO-5K、トレーニングされたモデル、説明可能性の可視化と構造化RDFエクスポートを備えたインタラクティブなデモをリリースする。 これらのことは、パラダイムとパラメータ効率のトレーニングの両方が、規制コンプライアンス自動化のための実践的なツールを提供することを示している。

関連論文リスト

• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• Fine-tuning Pre-trained Vision-Language Models in a Human-Annotation-Free Manner [46.140724013144194]
  CLIPのような大規模視覚言語モデル(VLM)は、ゼロショットの強い一般化を示すが、下流のタスクに適応するためには通常、コストのかかるラベル付きデータを必要とする。 既存の教師なしの自己学習手法は擬似ラベル化に依存しているが、信頼できない信頼度フィルタリング、確認バイアス、低信頼サンプルの未利用に悩まされることが多い。 我々は,デュアルモデル,クロスモーダル協調機構を通じてラベルのないデータを活用する,教師なし適応フレームワークであるCollaborative Fine-Tuning (CoFT)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T09:00:12Z)
• Context-Adaptive Requirements Defect Prediction through Human-LLM Collaboration [1.4499356176178066]
  本稿では,欠陥予測を静的な分類タスクではなく適応プロセスとして扱うHuman-LLM Collaboration(HLC)アプローチを提案する。 メルセデス・ベンツの要求条件である1,266のQuREベンチマークの弱い単語の匂いを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2026-01-05T10:00:14Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• Limited Reference, Reliable Generation: A Two-Component Framework for Tabular Data Generation in Low-Data Regimes [7.036974567001374]
  ReFineは、ドメイン固有の機能の配布に向けて生成をガイドするフレームワークである。 様々な回帰と分類のベンチマークの実験では、ReFineは最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-12T04:34:46Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• A Small Claims Court for the NLP: Judging Legal Text Classification Strategies With Small Datasets [0.0]
  本稿では,小ラベル付きデータセットと大量の未ラベルデータの使用を最適化するための最善の戦略について検討する。 我々は,ブラジルの検察官事務所に要求の記録を用いて,対象の1つに記述を割り当てる。 その結果, BERTとデータ拡張, 半教師付き学習戦略を併用したUnsupervised Data Augmentation (UDA) が得られた。
  論文  参考訳（メタデータ） (2024-09-09T18:10:05Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line [65.14099135546594]
  最近のテスト時間適応 (TTA) 法は, モデルに非常に弱い相関関係を示すシフトであっても, ACL と AGL の傾向を大幅に強化する。 この結果から,TTAとAGLに基づく推定手法を組み合わせることで,より広い分布シフトの集合に対する高精度なモデルOOD性能を推定できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-07T23:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。