論文の概要: Empower Distantly Supervised Relation Extraction with Collaborative
Adversarial Training
- arxiv url: http://arxiv.org/abs/2106.10835v1
- Date: Mon, 21 Jun 2021 03:54:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 15:36:50.065814
- Title: Empower Distantly Supervised Relation Extraction with Collaborative
Adversarial Training
- Title(参考訳): 協調学習による遠隔教師付き関係抽出の促進
- Authors: Tao Chen, Haochen Shi, Liyuan Liu, Siliang Tang, Jian Shao, Zhigang
Chen, Yueting Zhuang
- Abstract要約: 我々は,MIL(Multi-instance Learning)のデータ活用を改善するために,協調的対人訓練を提案する。
VATはラベルなしなので、MILによって放棄されたインスタンスをリサイクルするためにインスタンスレベルのVATを使用します。
提案手法は,先行技術に一貫した改善(5つの絶対AUCスコア)をもたらす。
- 参考スコア(独自算出の注目度): 53.347081723070666
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With recent advances in distantly supervised (DS) relation extraction (RE),
considerable attention is attracted to leverage multi-instance learning (MIL)
to distill high-quality supervision from the noisy DS. Here, we go beyond label
noise and identify the key bottleneck of DS-MIL to be its low data utilization:
as high-quality supervision being refined by MIL, MIL abandons a large amount
of training instances, which leads to a low data utilization and hinders model
training from having abundant supervision. In this paper, we propose
collaborative adversarial training to improve the data utilization, which
coordinates virtual adversarial training (VAT) and adversarial training (AT) at
different levels. Specifically, since VAT is label-free, we employ the
instance-level VAT to recycle instances abandoned by MIL. Besides, we deploy AT
at the bag-level to unleash the full potential of the high-quality supervision
got by MIL. Our proposed method brings consistent improvements (~ 5 absolute
AUC score) to the previous state of the art, which verifies the importance of
the data utilization issue and the effectiveness of our method.
- Abstract(参考訳): 近年の遠隔監視(DS)関係抽出(RE)の進歩に伴い,マルチインスタンス学習(MIL)を活用してノイズの多いDSから高品質な監視を抽出するために注目が集まっている。
ここではラベルノイズを超えてDS-MILの重要なボトルネックをその低データ利用であると同定する:MILによって高品質な監視が洗練されているため、MILは大量のトレーニングインスタンスを放棄し、データ利用が低くなり、モデルトレーニングが豊富な監視を妨げます。
本稿では,仮想対人訓練(VAT)と対人訓練(AT)を異なるレベルで協調するデータ利用を改善するための協調対人訓練を提案する。
特に、VATはラベルなしなので、MILによって放棄されたインスタンスをリサイクルするためにインスタンスレベルのVATを使用します。
さらに,ATをバッグレベルで展開し,MILが取得した高品質な監視の可能性を最大限に活用する。
提案手法は,従来の技術状況に一貫した改善(約5絶対AUCスコア)をもたらし,データ利用問題の重要性と本手法の有効性を検証した。
関連論文リスト
- PDL: Regularizing Multiple Instance Learning with Progressive Dropout
Layers [2.2774820679812695]
多重インスタンス学習(MIL)は、バッグとして知られるインスタンスのコレクションにバイナリクラスラベルを割り当てようとする、弱い教師付き学習アプローチである。
本稿では,複雑な特徴表現の発見において,MILモデルの過度な適合と強化を図るために,プログレッシブ・ドロップアウト・レイヤ(PDL)という手法を提案する。
論文 参考訳(メタデータ) (2023-08-19T21:20:30Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z) - Rethinking the Effect of Data Augmentation in Adversarial Contrastive
Learning [15.259867823352012]
CIFAR-10データセット上で、DYNACLはAuto-Attackの下で最先端の自己ATロバスト性を8.84%向上できることを示す。
また,DYNACLはバニラ指導による対人訓練を初めて上回りうることを示した。
論文 参考訳(メタデータ) (2023-03-02T14:11:54Z) - Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification
in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。
本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。
提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文 参考訳(メタデータ) (2023-02-19T17:42:35Z) - GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks [73.88590165742721]
本稿では,限られた訓練データの下で補助的なタスクを活用する新しい対人訓練手法を提案する。
本手法は, 対戦学習の最小値最適化において, シングルタスクモデルをマルチタスクモデルに拡張する。
我々は、ガイド付きマルチタスク学習が、モデルロバスト性の境界をさらに推し進めるために、実践的で有望な方法であることを実証する。
論文 参考訳(メタデータ) (2023-02-06T16:23:24Z) - Non-Markovian Reward Modelling from Trajectory Labels via Interpretable
Multiple Instance Learning [10.724516317292924]
本稿では、RMをマルチインスタンス学習(MIL)問題として扱う方法について述べる。
ラベル付きトラジェクトリの時間依存性をキャプチャできる新しいMILモデルを開発した。
我々は、新しいMILモデルで報酬関数を高い精度で再構成できる様々なRLタスクを実証する。
論文 参考訳(メタデータ) (2022-05-30T18:20:22Z) - CIL: Contrastive Instance Learning Framework for Distantly Supervised
Relation Extraction [52.94486705393062]
我々は、典型的なマルチインスタンス学習(MIL)フレームワークを超えて、新しいコントラッシブ・インスタンス学習(CIL)フレームワークを提案する。
具体的には、初期MILをリレーショナルトリプルエンコーダと各インスタンスに対する負のペアに対する制約正のペアとみなす。
提案手法の有効性を実験的に検証し, 提案手法をNYT10, GDS, KBPで比較検討した。
論文 参考訳(メタデータ) (2021-06-21T04:51:59Z) - Softmax with Regularization: Better Value Estimation in Multi-Agent
Reinforcement Learning [72.28520951105207]
q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。
ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。
本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
論文 参考訳(メタデータ) (2021-03-22T14:18:39Z) - What Makes for Good Views for Contrastive Learning? [90.49736973404046]
我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。
教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。
副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
論文 参考訳(メタデータ) (2020-05-20T17:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。