論文の概要: NER-D: A cross-domain benchmark for German NER
- arxiv url: http://arxiv.org/abs/2611.18257v1
- Date: Fri, 13 Nov 2026 14:54:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.352066
- Title: NER-D: A cross-domain benchmark for German NER
- Title(参考訳): NER-D: ドイツのNERのためのクロスドメインベンチマーク
- Abstract要約: 9つの領域にまたがる13のデータセットからなるドイツのNERのためのクロスドメインベンチマークを提案する。
プロプライエタリなLLMと最先端の小型オープンソースモデルの両方の性能を通常のプロンプトを用いて検討する。
以上の結果から,プロプライエタリモデル(GPT-5.4 mini)の最適化がなければ,13データセット中6データセットにおいて,より小さなオープンソースモデルよりも優れた結果が得られた。
- 参考スコア(独自算出の注目度): 12.57171420353883
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present NER-D, a cross-domain benchmark for German NER comprising 13 datasets spanning 9 domains, including General/Politics, Wikipedia, Legal, Medical, Historical, Financial, Agriculture and Archaeology. We examine the performance of both proprietary LLMs and state-of-the-art small open-source models using normal prompting and further examine the performance gains achievable via in-context learning and LoRA fine-tuning. Our results show that without any sort of optimization a proprietary model (GPT-5.4 mini) outperforms the smaller open-source models on 6 out of 13 datasets, but LoRA fine-tuning enables the smaller models to substantially outperform the proprietary baseline. We further analyze the influence of the domain and the tagset used in each task on the performance achieved in the different evaluation settings. Our benchmark will be available as a resource for the development of future German NER methods on both general and specialized domains.\footnote{We make our code, data, and models publicly available upon acceptance of this paper.
- Abstract(参考訳): NER-Dは、一般・ポリティクス、ウィキペディア、法律、医学、歴史的、金融、農業、考古学を含む9つの領域にまたがる13のデータセットからなる、ドイツのNERのためのクロスドメインベンチマークである。
本稿では,通常のプロンプトを用いて,プロプライエタリなLLMと最先端のオープンソースモデルの両方の性能について検討し,さらにテキスト内学習とLoRAファインタニングによる性能向上について検討する。
以上の結果から,プロプライエタリモデル (GPT-5.4 mini) は13データセット中6データセットにおいて,より小さなオープンソースモデルよりも優れているが,LoRAファインタニングにより,より小さなモデルでプロプライエタリベースラインを大幅に上回る結果が得られた。
さらに、各タスクで使用されるドメインとタグセットが、異なる評価設定で達成されるパフォーマンスに与える影響について分析する。
我々のベンチマークは、汎用ドメインと専門ドメインの両方で、将来のドイツのNERメソッドの開発のためのリソースとして利用可能である。
この論文を受理すると、コード、データ、モデルを公開します。
関連論文リスト
- PRUE: A Practical Recipe for Field Boundary Segmentation at Scale [50.194423500109025]
本研究では,大域境界線決定のためのセグメント化と地理空間基盤モデル(GFM)を初めて体系的に評価する。
U-Netセマンティックセマンティックセグメンテーションモデルは、パフォーマンスとデプロイメントのメトリクスのスイートにおいて、インスタンスベースとGFMの代替よりも優れています。
我々のアプローチは、モデル設計、トレーニング、推論にまたがる、信頼性があり、スケーラブルで再現可能なフィールド境界記述のための実践的なフレームワークを提供します。
論文 参考訳(メタデータ) (2026-03-28T02:47:46Z) - OpenMed NER: Open-Source, Domain-Adapted State-of-the-Art Transformers for Biomedical NER Across 12 Public Datasets [0.0]
名前付き認識のためのオープンソースドメイン適応型トランスフォーマーモデルであるOpenMed NERを紹介する。
化学物質, 疾患, 遺伝子, 種にまたがる12種類のバイオメディカルNERベンチマークのモデルについて検討した。
OpenMed NERは、これらの12データセットのうち10つで、最先端のマイクロF1スコアを新たに達成し、さまざまなエンティティタイプで大幅に向上している。
論文 参考訳(メタデータ) (2025-08-03T07:33:28Z) - DIDS: Domain Impact-aware Data Sampling for Large Language Model Training [61.10643823069603]
大規模言語モデルに対するドメインインパクト対応データサンプリング(DIDS)を提案する。
学習効果に基づくDIDSグループトレーニングデータでは、プロキシ言語モデルと次元削減が使用される。
同等のトレーニング効率を維持しながら平均パフォーマンスを3.4%向上させる。
論文 参考訳(メタデータ) (2025-04-17T13:09:38Z) - Improving Few-Shot Cross-Domain Named Entity Recognition by Instruction Tuning a Word-Embedding based Retrieval Augmented Large Language Model [0.0]
Few-Shot Cross-Domain NERは、データ豊富なソースドメインからの知識を活用して、データ不足のターゲットドメイン上でエンティティ認識を実行するプロセスである。
名前付きエンティティ認識のための検索拡張大言語モデルIF-WRANERを提案する。
論文 参考訳(メタデータ) (2024-11-01T08:57:29Z) - UniversalNER: Targeted Distillation from Large Language Models for Open
Named Entity Recognition [48.977866466971655]
オープンNERのためにChatGPTをはるかに小さなUniversalNERモデルに蒸留する方法を示す。
9つの異なるドメインにわたる43のデータセットからなる、これまでで最大のNERベンチマークを組み立てました。
パラメータのごく一部で、UniversalNERは任意のエンティティタイプを認識するChatGPTの能力を取得するだけでなく、NERの精度を平均7-9絶対F1ポイントで上回る。
論文 参考訳(メタデータ) (2023-08-07T03:39:52Z) - MultiCQA: Zero-Shot Transfer of Self-Supervised Text Matching Models on
a Massive Scale [64.11709427403008]
テキストマッチングモデルのゼロショット転送能力を大規模に検討し,140個のソースドメイン上での自己教師型トレーニングを行った。
すべての140モデルが驚くほどうまく転送され、ほとんどのモデルが一般的なIRベースラインより大幅に優れています。
論文 参考訳(メタデータ) (2020-10-02T13:22:12Z) - One Model to Recognize Them All: Marginal Distillation from NER Models
with Different Tag Sets [30.445201832698192]
名前付きエンティティ認識(NER)は、現代の言語理解パイプラインの基本コンポーネントである。
本稿では,不均一なタグセットを持つ資源から統一NERモデルを訓練するための限界蒸留(MARDI)手法を提案する。
論文 参考訳(メタデータ) (2020-04-10T17:36:27Z) - Zero-Resource Cross-Domain Named Entity Recognition [68.83177074227598]
既存のドメイン名付きエンティティ認識モデルは、多くのラベルなしコーパスや、ターゲットドメイン内のラベル付きNERトレーニングデータに依存している。
外部リソースを一切使用しないドメイン間NERモデルを提案する。
論文 参考訳(メタデータ) (2020-02-14T09:04:18Z) - Rethinking Generalization of Neural Models: A Named Entity Recognition
Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。
詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。
本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文 参考訳(メタデータ) (2020-01-12T04:33:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。