論文の概要: Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training

• arxiv url: http://arxiv.org/abs/2106.10835v1
• Date: Mon, 21 Jun 2021 03:54:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:36:50.065814
• Title: Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training
• Title（参考訳）: 協調学習による遠隔教師付き関係抽出の促進
• Authors: Tao Chen, Haochen Shi, Liyuan Liu, Siliang Tang, Jian Shao, Zhigang Chen, Yueting Zhuang
• Abstract要約: 我々は,MIL(Multi-instance Learning)のデータ活用を改善するために,協調的対人訓練を提案する。 VATはラベルなしなので、MILによって放棄されたインスタンスをリサイクルするためにインスタンスレベルのVATを使用します。 提案手法は,先行技術に一貫した改善(5つの絶対AUCスコア)をもたらす。
• 参考スコア（独自算出の注目度）: 53.347081723070666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With recent advances in distantly supervised (DS) relation extraction (RE), considerable attention is attracted to leverage multi-instance learning (MIL) to distill high-quality supervision from the noisy DS. Here, we go beyond label noise and identify the key bottleneck of DS-MIL to be its low data utilization: as high-quality supervision being refined by MIL, MIL abandons a large amount of training instances, which leads to a low data utilization and hinders model training from having abundant supervision. In this paper, we propose collaborative adversarial training to improve the data utilization, which coordinates virtual adversarial training (VAT) and adversarial training (AT) at different levels. Specifically, since VAT is label-free, we employ the instance-level VAT to recycle instances abandoned by MIL. Besides, we deploy AT at the bag-level to unleash the full potential of the high-quality supervision got by MIL. Our proposed method brings consistent improvements (~ 5 absolute AUC score) to the previous state of the art, which verifies the importance of the data utilization issue and the effectiveness of our method.
• Abstract（参考訳）: 近年の遠隔監視(DS)関係抽出(RE)の進歩に伴い,マルチインスタンス学習(MIL)を活用してノイズの多いDSから高品質な監視を抽出するために注目が集まっている。 ここではラベルノイズを超えてDS-MILの重要なボトルネックをその低データ利用であると同定する:MILによって高品質な監視が洗練されているため、MILは大量のトレーニングインスタンスを放棄し、データ利用が低くなり、モデルトレーニングが豊富な監視を妨げます。 本稿では,仮想対人訓練(VAT)と対人訓練(AT)を異なるレベルで協調するデータ利用を改善するための協調対人訓練を提案する。 特に、VATはラベルなしなので、MILによって放棄されたインスタンスをリサイクルするためにインスタンスレベルのVATを使用します。 さらに,ATをバッグレベルで展開し,MILが取得した高品質な監視の可能性を最大限に活用する。 提案手法は,従来の技術状況に一貫した改善(約5絶対AUCスコア)をもたらし,データ利用問題の重要性と本手法の有効性を検証した。

関連論文リスト

• A few-shot Label Unlearning in Vertical Federated Learning [16.800865928660954]
  本稿では,垂直的フェデレート学習(VFL)におけるアンラーニングの課題について述べる。 本稿では,ラベルリークのリスクを軽減することを目的とした,VFLにおけるラベルアンラーニングに特化して設計された最初のアプローチを紹介する。 本手法では, ラベル付きデータの限られた量を活用し, 多様体ミックスアップを利用して, 不十分なデータの前方埋め込みを増強し, 拡張埋め込みに勾配を増し, モデルからラベル情報を消去する。
  論文  参考訳（メタデータ） (2024-10-14T12:08:12Z)
• Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
  本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。 MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• ProFeAT: Projected Feature Adversarial Training for Self-Supervised Learning of Robust Representations [35.68752612346952]
  教師付きAdversarial Training (AT) におけるラベル付きデータの必要性は,ATによる自己監督学習(SSL)技術の利用を促している。 既存のSSLメソッドの対向トレーニングへの直接的な適用は、SSLとATの組み合わせによるトレーニングの複雑さの増大により、サブ最適になっている。 本研究では,教師と生徒の弱さと強みを兼ね備えた,特徴とプロジェクタに対する適切な攻撃と防御の損失を提案する。
  論文  参考訳（メタデータ） (2024-06-09T14:20:46Z)
• PDL: Regularizing Multiple Instance Learning with Progressive Dropout Layers [2.069061136213899]
  多重インスタンス学習(MIL)は、バッグとして知られるインスタンスのコレクションにバイナリクラスラベルを割り当てようとする、弱い教師付き学習アプローチである。 本稿では,複雑な特徴表現の発見において,MILモデルの過度な適合と強化を図るために,プログレッシブ・ドロップアウト・レイヤ(PDL)という手法を提案する。
  論文  参考訳（メタデータ） (2023-08-19T21:20:30Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• Non-Markovian Reward Modelling from Trajectory Labels via Interpretable Multiple Instance Learning [10.724516317292924]
  本稿では、RMをマルチインスタンス学習(MIL)問題として扱う方法について述べる。 ラベル付きトラジェクトリの時間依存性をキャプチャできる新しいMILモデルを開発した。 我々は、新しいMILモデルで報酬関数を高い精度で再構成できる様々なRLタスクを実証する。
  論文  参考訳（メタデータ） (2022-05-30T18:20:22Z)
• CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction [52.94486705393062]
  我々は、典型的なマルチインスタンス学習(MIL)フレームワークを超えて、新しいコントラッシブ・インスタンス学習(CIL)フレームワークを提案する。 具体的には、初期MILをリレーショナルトリプルエンコーダと各インスタンスに対する負のペアに対する制約正のペアとみなす。 提案手法の有効性を実験的に検証し, 提案手法をNYT10, GDS, KBPで比較検討した。
  論文  参考訳（メタデータ） (2021-06-21T04:51:59Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• What Makes for Good Views for Contrastive Learning? [90.49736973404046]
  我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。