論文の概要: Towards DS-NER: Unveiling and Addressing Latent Noise in Distant Annotations
- arxiv url: http://arxiv.org/abs/2505.12454v1
- Date: Sun, 18 May 2025 15:10:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.245053
- Title: Towards DS-NER: Unveiling and Addressing Latent Noise in Distant Annotations
- Title(参考訳): DS-NERに向けて:遠隔アノテーションにおける潜時雑音の除去と対応
- Authors: Yuyang Ding, Dan Qiao, Juntao Li, Jiajie Xu, Pingfu Chao, Xiaofang Zhou, Min Zhang,
- Abstract要約: 本研究では,DS-NERの有効性とロバスト性について,(1)遠隔アノテーション技術と革新的大言語モデル監視アプローチ,(2)雑音評価の2つの側面から検討する。
提案手法は,3つの異なるデータソースから得られた8つの実世界の遠隔監視データセットに対して,大幅な改善を実現する。
- 参考スコア(独自算出の注目度): 31.22975071812517
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distantly supervised named entity recognition (DS-NER) has emerged as a cheap and convenient alternative to traditional human annotation methods, enabling the automatic generation of training data by aligning text with external resources. Despite the many efforts in noise measurement methods, few works focus on the latent noise distribution between different distant annotation methods. In this work, we explore the effectiveness and robustness of DS-NER by two aspects: (1) distant annotation techniques, which encompasses both traditional rule-based methods and the innovative large language model supervision approach, and (2) noise assessment, for which we introduce a novel framework. This framework addresses the challenges by distinctly categorizing them into the unlabeled-entity problem (UEP) and the noisy-entity problem (NEP), subsequently providing specialized solutions for each. Our proposed method achieves significant improvements on eight real-world distant supervision datasets originating from three different data sources and involving four distinct annotation techniques, confirming its superiority over current state-of-the-art methods.
- Abstract(参考訳): 遠隔管理型エンティティ認識(DS-NER)は,テキストと外部リソースの整合によるトレーニングデータの自動生成を可能にする,従来のヒューマンアノテーション手法に代わる,安価で便利な代替手段として登場した。
ノイズ測定法における多くの取り組みにもかかわらず、異なる遠隔アノテーション法間の潜時雑音分布に焦点を当てた研究はほとんどない。
本研究では,DS-NERの有効性とロバスト性について,(1)従来のルールベース手法と革新的大言語モデル監視手法の両方を包含する遠隔アノテーション技術,(2)新しい枠組みを導入する騒音評価の2つの側面から検討する。
このフレームワークは、それらをラベルなしエンティフィケーション問題(UEP)とノイジーエンティフィケーション問題(NEP)に明確に分類し、それぞれに特別な解決策を提供することによって、課題に対処する。
提案手法は,3つの異なるデータソースから得られた8つの実世界の遠隔監視データセットに対して,4つの異なるアノテーション技術による大幅な改善を実現し,現在の最先端手法よりも優位性を確認した。
関連論文リスト
- Boosting CNN-based Handwriting Recognition Systems with Learnable Relaxation Labeling [48.78361527873024]
本稿では,2つの異なる手法の強みを組み込んだ手書き文字認識手法を提案する。
本稿では,アルゴリズムの収束を加速し,システム全体の性能を向上させるスペーシフィケーション手法を提案する。
論文 参考訳(メタデータ) (2024-09-09T15:12:28Z) - Markov Decision Processes with Noisy State Observation [0.0]
本稿では,マルコフ決定過程(MDP)における特定のノイズ状態観測の課題について述べる。
我々は、真の状態を誤認する確率を捉える混乱行列を用いて、この不確実性をモデル化することに集中する。
そこで本研究では,本研究で提案する2つの提案手法について述べる。
論文 参考訳(メタデータ) (2023-12-13T21:50:38Z) - PSDiff: Diffusion Model for Person Search with Iterative and Collaborative Refinement [59.6260680005195]
本稿では,拡散モデルであるPSDiffに基づく新しいPerson Searchフレームワークを提案する。
PSDiffは、ノイズの多いボックスとReID埋め込みから地上の真実へのデュアルデノケーションプロセスとして検索する人を定式化する。
新しいパラダイムに従って、我々は、反復的かつ協調的な方法で検出とReIDサブタスクを最適化する新しいコラボレーティブ・デノナイジング・レイヤ(CDL)を設計する。
論文 参考訳(メタデータ) (2023-09-20T08:16:39Z) - Aggregating Soft Labels from Crowd Annotations Improves Uncertainty Estimation Under Distribution Shift [43.69579155156202]
本稿では,ドメイン外環境での集団ラベルからの学習について,大規模な実証的研究を行った。
タスク間の一貫したパフォーマンスを実現するために,ソフトラベルを単純な平均で集約することを提案する。
論文 参考訳(メタデータ) (2022-12-19T12:40:18Z) - Data-Driven Blind Synchronization and Interference Rejection for Digital
Communication Signals [98.95383921866096]
本研究では,データ駆動型深層学習手法の可能性について検討した。
本研究では,高分解能時間構造(非定常性)の取得が性能向上につながることを示す。
既製のNNと古典的検出と干渉除去の両方で改善可能なドメインインフォームドニューラルネットワーク(NN)の設計を提案する。
論文 参考訳(メタデータ) (2022-09-11T14:10:37Z) - Geometric and Learning-based Mesh Denoising: A Comprehensive Survey [17.652531757914]
メッシュデノイングはデジタル幾何学処理の基本的な問題である。
従来の幾何学的アプローチと最近の学習に基づく手法の両方を含むメッシュ認知の進歩を概観する。
論文 参考訳(メタデータ) (2022-09-02T06:54:32Z) - Towards Discriminative Representation Learning for Unsupervised Person
Re-identification [37.32557301375426]
教師なし方式で雑音耐性表現を学習するためのクラスタワイドコントラスト学習アルゴリズム(CCL)を提案する。
第2に、ソースとターゲットデータ間のドメインギャップを徐々に緩和するために、プログレッシブなドメイン適応戦略を採用する。
第3に、re-IDモデルのクラス分離性をさらに最大化するフーリエ拡張(FA)を提案する。
論文 参考訳(メタデータ) (2021-08-07T12:35:21Z) - Robust Embeddings Via Distributions [0.0]
NLPモデルの堅牢性を向上させる新しい確率的埋め込みレベル法を提案する。
我々の手法であるRobust Embeddings via Distributions (RED)は、ノイズトークンと周辺コンテキストの両方からの情報を組み込んで、埋め込みベクトル上の分布を得る。
論文 参考訳(メタデータ) (2021-04-17T02:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。