論文の概要: Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction

• arxiv url: http://arxiv.org/abs/2312.12021v3
• Date: Mon, 11 Mar 2024 14:42:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 14:48:48.220953
• Title: Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction
• Title（参考訳）: ファウショット関係抽出のための相乗的アンコレッドコントラスト事前学習
• Authors: Da Luo, Yanglei Gan, Rui Hou, Run Lin, Qiao Liu, Yuxiang Cai, Wannian Gao
• Abstract要約: Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.7220779071424985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot Relation Extraction (FSRE) aims to extract relational facts from a sparse set of labeled corpora. Recent studies have shown promising results in FSRE by employing Pre-trained Language Models (PLMs) within the framework of supervised contrastive learning, which considers both instances and label facts. However, how to effectively harness massive instance-label pairs to encompass the learned representation with semantic richness in this learning paradigm is not fully explored. To address this gap, we introduce a novel synergistic anchored contrastive pre-training framework. This framework is motivated by the insight that the diverse viewpoints conveyed through instance-label pairs capture incomplete yet complementary intrinsic textual semantics. Specifically, our framework involves a symmetrical contrastive objective that encompasses both sentence-anchored and label-anchored contrastive losses. By combining these two losses, the model establishes a robust and uniform representation space. This space effectively captures the reciprocal alignment of feature distributions among instances and relational facts, simultaneously enhancing the maximization of mutual information across diverse perspectives within the same relation. Experimental results demonstrate that our framework achieves significant performance enhancements compared to baseline models in downstream FSRE tasks. Furthermore, our approach exhibits superior adaptability to handle the challenges of domain shift and zero-shot relation extraction. Our code is available online at https://github.com/AONE-NLP/FSRE-SaCon.
• Abstract（参考訳）: Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから関係事実を抽出することを目的としている。 近年の研究では、教師付きコントラスト学習の枠組みに事前学習言語モデル(PLM)を用いることで、FSREにおいて有望な結果が示されている。 しかし、この学習パラダイムにおける学習表現と意味豊かさを包含する大規模なインスタンスラベルペアを効果的に活用する方法は、十分に検討されていない。 このギャップに対処するために,新しい相乗的アンカー型コントラストプレトレーニングフレームワークを提案する。 このフレームワークは、インスタンスラベルペアを通じて伝達される多様な視点が不完全だが補完的な内在的なテキスト意味論を捉えているという洞察に動機づけられている。 特に,本フレームワークは,文長とラベル長の両比較損失を含む対称的コントラスト目的を含む。 これら2つの損失を組み合わせることで、モデルは堅牢で均一な表現空間を確立する。 この空間は、インスタンスとリレーショナル事実間の特徴分布の相互アライメントを効果的に捉え、同時に、同一関係内の様々な視点における相互情報の最大化を強化する。 実験の結果, 下流fsreタスクにおけるベースラインモデルと比較して, 性能が大幅に向上した。 さらに,本手法は,ドメインシフトやゼロショット関係抽出の課題に対処する上で,優れた適応性を示す。 私たちのコードはhttps://github.com/AONE-NLP/FSRE-SaConで公開されている。

関連論文リスト

• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。 これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Towards Distribution-Agnostic Generalized Category Discovery [51.52673017664908]
  データ不均衡とオープンエンドの分布は、現実の視覚世界の本質的な特性である。 我々は,BaCon(Self-Balanced Co-Advice contrastive framework)を提案する。 BaConは、対照的な学習ブランチと擬似ラベルブランチで構成され、DA-GCDタスクを解決するためのインタラクティブな監視を提供するために協力して動作する。
  論文  参考訳（メタデータ） (2023-10-02T17:39:58Z)
• Siamese Representation Learning for Unsupervised Relation Extraction [5.776369192706107]
  非教師付き関係抽出(URE)は、オープンドメインのプレーンテキストから名前付きエンティティペア間の基礎となる関係を見つけることを目的としている。 比較学習を利用した既存のUREモデルでは、正のサンプルを惹きつけ、より良い分離を促進するために負のサンプルを反発させる効果がある。 非教師関係抽出のためのシームズ表現学習 - 正のペアを単純に活用して表現学習を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-01T02:57:43Z)
• Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations [6.265789210037749]
  コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。 また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-07-20T15:02:42Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction [60.80849503639896]
  非教師なし関係抽出は、関係範囲や分布に関する事前情報のない自然言語文からエンティティ間の関係を抽出することを目的としている。 本稿では,階層間注目を用いた階層的特徴空間から階層的信号を導出する機能を持つ,HiUREという新しいコントラスト学習フレームワークを提案する。 2つの公開データセットの実験結果は、最先端モデルと比較した場合の教師なし関係抽出におけるHiUREの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-05-04T17:56:48Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Unpaired Adversarial Learning for Single Image Deraining with Rain-Space Contrastive Constraints [61.40893559933964]
  我々は,CDR-GAN という名称の GAN フレームワークにおいて,比較学習手法により,経験者の相互特性を探索する有効な非経験的 SID 手法を開発した。 提案手法は, 合成および実世界の両方のデータセットにおいて, 既存の非対効果のデラミニング手法に対して良好に動作し, 完全教師付きモデルや半教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-09-07T10:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。