論文の概要: Enhancing Contrastive Learning with Noise-Guided Attack: Towards
Continual Relation Extraction in the Wild
- arxiv url: http://arxiv.org/abs/2305.07085v1
- Date: Thu, 11 May 2023 18:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 14:55:25.473710
- Title: Enhancing Contrastive Learning with Noise-Guided Attack: Towards
Continual Relation Extraction in the Wild
- Title（参考訳）: 雑音誘導攻撃によるコントラスト学習の促進:野生における連続的関係抽出を目指して
- Authors: Ting Wu, Jingyi Liu, Rui Zheng, Qi Zhang, Tao Gui, Xuanjing Huang
- Abstract要約: 我々はtextbfContrative textbfLearning(NaCL) における textbfNoise-guided textbf attack という名前の耐雑音性コントラストフレームワークを開発する。
直接雑音除去や到達不能雑音回避と比較して,攻撃により与えられた雑音ラベルに一致するように特徴空間を変更する。
- 参考スコア（独自算出の注目度）: 57.468184469589744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The principle of continual relation extraction~(CRE) involves adapting to
emerging novel relations while preserving od knowledge. While current endeavors
in CRE succeed in preserving old knowledge, they tend to fail when exposed to
contaminated data streams. We assume this is attributed to their reliance on an
artificial hypothesis that the data stream has no annotation errors, which
hinders real-world applications for CRE. Considering the ubiquity of noisy
labels in real-world datasets, in this paper, we formalize a more practical
learning scenario, termed as \textit{noisy-CRE}. Building upon this challenging
setting, we develop a noise-resistant contrastive framework named as
\textbf{N}oise-guided \textbf{a}ttack in \textbf{C}ontrative
\textbf{L}earning~(NaCL) to learn incremental corrupted relations. Compared to
direct noise discarding or inaccessible noise relabeling, we present modifying
the feature space to match the given noisy labels via attacking can better
enrich contrastive representations. Extensive empirical validations highlight
that NaCL can achieve consistent performance improvements with increasing noise
rates, outperforming state-of-the-art baselines.
- Abstract（参考訳）: 連続的関係抽出の原則~(CRE)は、od知識を維持しながら新しい関係に適応することである。
creにおける現在の取り組みは古い知識の保存に成功しているが、汚染されたデータストリームにさらされると失敗する傾向がある。
これは、データストリームにアノテーションエラーがないという人工的な仮説に依拠していると仮定し、creの現実世界のアプリケーションを妨げる。
本稿では,実世界のデータセットにおける雑音ラベルのユビキタス性を考慮して,より実用的な学習シナリオを定式化する。
この難易度設定に基づいて, 漸進的に劣化した関係を学習するために, 雑音耐性のコントラストフレームワークである \textbf{N}oise-guided \textbf{a}ttack in \textbf{C}ontrative \textbf{L}earning~(NaCL)を開発した。
直接雑音除去や到達不能雑音回避と比較して,攻撃により与えられた雑音ラベルにマッチするように特徴空間を変更することで,コントラスト表現をよりリッチにすることができる。
広範な実証的検証により、naclはノイズレートを増加させ、最先端のベースラインを上回って一貫したパフォーマンス改善を達成できることが示されている。
関連論文リスト
- Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement [3.272177633069322]
実世界のデータセットは、アノテーションプロセス中にヒューマンエラー、あいまいさ、リソース制約のために、ノイズの多いラベルを含むことが多い。
そこで本研究では,SimCLRを用いた自己教師型学習と反復的擬似ラベル改良を組み合わせた新しいフレームワークを提案する。
提案手法は,特に高騒音条件下では,いくつかの最先端手法よりも優れる。
論文 参考訳（メタデータ） (2024-12-06T09:56:49Z) - Label Noise: Ignorance Is Bliss [20.341746708177055]
マルチクラス、インスタンス依存ラベルノイズ下で学習するための新しい理論的枠組みを確立する。
本研究は,ラベルノイズを無視しながら経験的リスクを最小限に抑える,単純なEmphnoise Ignorant Empirical Risk Minimization(NI-ERM)の原則を支持する。
論文 参考訳（メタデータ） (2024-10-31T17:03:25Z) - Disentangled Noisy Correspondence Learning [56.06801962154915]
クロスモーダル検索は、モダリティ間の潜在対応を理解する上で重要である。
DisNCLはノイズ対応学習における特徴分散のための新しい情報理論フレームワークである。
論文 参考訳（メタデータ） (2024-08-10T09:49:55Z) - NoisyAG-News: A Benchmark for Addressing Instance-Dependent Noise in Text Classification [7.464154519547575]
ノイズラベルを用いた学習に関する既存の研究は、主に合成ノイズパターンに焦点を当てている。
実世界のテキスト分類設定においてラベルノイズをよりよく理解するためのベンチマークデータセットを構築した。
以上の結果から,事前学習モデルでは合成ノイズに耐性があるものの,インスタンス依存ノイズには耐え難いことが判明した。
論文 参考訳（メタデータ） (2024-07-09T06:18:40Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - ERASE: Error-Resilient Representation Learning on Graphs for Label Noise
Tolerance [53.73316938815873]
本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。
ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。
提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
論文 参考訳（メタデータ） (2023-12-13T17:59:07Z) - Label Noise: Correcting the Forward-Correction [0.0]
ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。
ラベルノイズによる過度適合に対処する手法を提案する。
本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
論文 参考訳（メタデータ） (2023-07-24T19:41:19Z) - How to Enhance Causal Discrimination of Utterances: A Case on Affective
Reasoning [22.11437627661179]
本稿では,会話プロセスにテクスティ.i.d.ノイズ項を組み込むことにより,構造因果モデル(SCM)を構築することを提案する。
ディープラーニングの実装を容易にするため,非構造化会話データを扱うためのcognフレームワークを導入し,非可観測ノイズを学習可能な「単純な原因」とみなすオートエンコーダアーキテクチャを採用した。
論文 参考訳（メタデータ） (2023-05-04T07:45:49Z) - Learning with Noisy Labels Revisited: A Study Using Real-World Human
Annotations [54.400167806154535]
ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。
本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。
実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
論文 参考訳（メタデータ） (2021-10-22T22:42:11Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳（メタデータ） (2021-01-14T05:43:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。