論文の概要: H-FND: Hierarchical False-Negative Denoising for Distant Supervision
Relation Extraction
- arxiv url: http://arxiv.org/abs/2012.03536v2
- Date: Mon, 14 Dec 2020 16:40:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 21:31:32.253277
- Title: H-FND: Hierarchical False-Negative Denoising for Distant Supervision
Relation Extraction
- Title(参考訳): h-fnd:階層的false-negative denoisingによる遠隔監督関係抽出
- Authors: Jhih-Wei Chen, Tsu-Jui Fu, Chen-Kang Lee, Wei-Yun Ma
- Abstract要約: 強固な遠隔監督関係抽出のための階層的偽陰性化フレームワークh-fndを提案する。
H-FNDは、非関係(NA)インスタンスをトレーニングプロセス中に保持、破棄、または修正するかどうかを決定する階層ポリシーを使用します。
SemEval-2010とTACREDの実験は、トレーニングインスタンスと検証インスタンスの関係をランダムに負に変換してFNインスタンスを生成する制御されたFN比で実施された。
- 参考スコア(独自算出の注目度): 13.427629699227364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although distant supervision automatically generates training data for
relation extraction, it also introduces false-positive (FP) and false-negative
(FN) training instances to the generated datasets. Whereas both types of errors
degrade the final model performance, previous work on distant supervision
denoising focuses more on suppressing FP noise and less on resolving the FN
problem. We here propose H-FND, a hierarchical false-negative denoising
framework for robust distant supervision relation extraction, as an FN
denoising solution. H-FND uses a hierarchical policy which first determines
whether non-relation (NA) instances should be kept, discarded, or revised
during the training process. For those learning instances which are to be
revised, the policy further reassigns them appropriate relations, making them
better training inputs. Experiments on SemEval-2010 and TACRED were conducted
with controlled FN ratios that randomly turn the relations of training and
validation instances into negatives to generate FN instances. In this setting,
H-FND can revise FN instances correctly and maintains high F1 scores even when
50% of the instances have been turned into negatives. Experiment on NYT10 is
further conducted to shows that H-FND is applicable in a realistic setting.
- Abstract(参考訳): 遠隔監視は関係抽出のためのトレーニングデータを自動的に生成するが、生成されたデータセットに偽陽性(FP)と偽陰性(FN)のトレーニングインスタンスも導入する。
どちらのタイプの誤りも最終的なモデル性能を劣化させるが、遠方監視の以前の研究はfpノイズの抑制に重点を置いており、fn問題の解決に重点を置いている。
本稿では,fnデノージング解として,ロバストな遠隔監督関係抽出のための階層的偽陰性デノージングフレームワークh-fndを提案する。
H-FNDは階層的なポリシーを使用して、トレーニングプロセス中に非リレーション(NA)インスタンスを保持、破棄、または修正すべきかどうかを判断する。
改訂される学習インスタンスに対して、ポリシーはさらに適切な関係を割り当て、より優れたインプットのトレーニングを可能にする。
SemEval-2010とTACREDの実験は、制御されたFN比を用いて行われ、トレーニングと検証インスタンスの関係をランダムに負に変えてFNインスタンスを生成する。
この設定では、H-FNDはFNインスタンスを正しく修正することができ、50%のインスタンスが負に変換された場合でも高いF1スコアを維持する。
さらに、H-FNDが現実的な環境で適用可能であることを示すため、NYT10の実験が行われた。
関連論文リスト
- Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。
我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。
SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
論文 参考訳(メタデータ) (2024-06-10T21:44:52Z) - Unifying Bayesian Flow Networks and Diffusion Models through Stochastic Differential Equations [33.15345977693178]
拡散モデル(DM)のサンプルの代わりに、ベイズ流ネットワーク(BFN)がパラメータを反復的に洗練する。
本稿では,BFNを微分方程式(SDE)を介してDMと接続することで理解し,拡張することを目的とする。
そこで本研究では,BFNのサンプル品質を著しく上回るBFNの特殊解法を提案する。
論文 参考訳(メタデータ) (2024-04-24T09:39:06Z) - Explicit Lipschitz Value Estimation Enhances Policy Robustness Against Perturbation [2.2120851074630177]
ロボット制御タスクでは、シミュレーションにおいて強化学習(RL)によって訓練されたポリシーは、物理ハードウェアにデプロイされた場合、しばしばパフォーマンス低下を経験する。
リプシッツ正則化は、近似値関数勾配の条件付けに役立ち、訓練後のロバスト性の向上につながる。
論文 参考訳(メタデータ) (2024-04-22T05:01:29Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - FedDiv: Collaborative Noise Filtering for Federated Learning with Noisy
Labels [99.70895640578816]
雑音ラベル付きフェデレーション学習(F-LNL)は,協調型分散学習を通じて最適なサーバモデルを求めることを目的としている。
我々はF-LNLの課題に取り組むためにFedDivを提案し、特にフェデレートノイズフィルタと呼ばれるグローバルノイズフィルタを提案する。
論文 参考訳(メタデータ) (2023-12-19T15:46:47Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳(メタデータ) (2023-02-17T18:45:04Z) - FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the
Underlying Score Fokker-Planck Equation [72.19198763459448]
雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。
これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。
我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
論文 参考訳(メタデータ) (2022-10-09T16:27:25Z) - Knowing False Negatives: An Adversarial Training Method for Distantly
Supervised Relation Extraction [8.764365529317923]
疑似負関係抽出のための2段階のアプローチを提案する。
まず、ディープニューラルネットワークのメモリ機構を利用して、可能なFNサンプルを見つける。
そして、これらのラベルのないデータとトレーニングデータとを、擬似ラベルを割り当てる対向訓練により、統一された特徴空間に整列する。
論文 参考訳(メタデータ) (2021-09-05T15:11:24Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳(メタデータ) (2021-01-11T19:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。