論文の概要: Efficient Information Extraction in Few-Shot Relation Classification through Contrastive Representation Learning
- arxiv url: http://arxiv.org/abs/2403.16543v1
- Date: Mon, 25 Mar 2024 08:36:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 15:18:23.229267
- Title: Efficient Information Extraction in Few-Shot Relation Classification through Contrastive Representation Learning
- Title（参考訳）: コントラスト表現学習によるFew-Shot関係分類における効率的な情報抽出
- Authors: Philipp Borchert, Jochen De Weerdt, Marie-Francine Moens,
- Abstract要約: 本稿では,複数文表現とコントラスト学習を組み合わせた情報抽出手法を提案する。
本手法では,これらの表現から相補的識別情報を抽出するために,コントラスト学習を用いる。
- 参考スコア（独自算出の注目度）: 23.992247765851204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentiating relationships between entity pairs with limited labeled instances poses a significant challenge in few-shot relation classification. Representations of textual data extract rich information spanning the domain, entities, and relations. In this paper, we introduce a novel approach to enhance information extraction combining multiple sentence representations and contrastive learning. While representations in relation classification are commonly extracted using entity marker tokens, we argue that substantial information within the internal model representations remains untapped. To address this, we propose aligning multiple sentence representations, such as the [CLS] token, the [MASK] token used in prompting, and entity marker tokens. Our method employs contrastive learning to extract complementary discriminative information from these individual representations. This is particularly relevant in low-resource settings where information is scarce. Leveraging multiple sentence representations is especially effective in distilling discriminative information for relation classification when additional information, like relation descriptions, are not available. We validate the adaptability of our approach, maintaining robust performance in scenarios that include relation descriptions, and showcasing its flexibility to adapt to different resource constraints.
- Abstract（参考訳）: 限定ラベル付きインスタンスによるエンティティペア間の関係の微分は、数ショットの関係分類において大きな課題となる。
テキストデータの表現は、ドメイン、エンティティ、関係にまたがる豊富な情報を抽出する。
本稿では,複数文表現とコントラスト学習を組み合わせた情報抽出手法を提案する。
関係分類における表現は、エンティティマーカートークンを用いて一般的に抽出されるが、内部モデル表現における実質的な情報は未解決のままであると主張する。
そこで我々は,[CLS]トークン,[MASK]トークン,エンティティトークンなどの複数の文表現の整合性を提案する。
本手法では,これらの表現から相補的識別情報を抽出するために,コントラスト学習を用いる。
これは、情報が不足している低リソース設定に特に関係している。
複数文表現の活用は、関係記述のような追加情報が利用できない場合に、関係分類のための識別情報を蒸留するのに特に有効である。
我々は、我々のアプローチの適応性を評価し、関係記述を含むシナリオにおける堅牢なパフォーマンスを維持し、異なるリソース制約に適応する柔軟性を示す。
関連論文リスト
- Learning Representations without Compositional Assumptions [79.12273403390311]
本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。
また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
論文 参考訳（メタデータ） (2023-05-31T10:36:10Z) - Sentence-Level Relation Extraction via Contrastive Learning with
Descriptive Relation Prompts [1.5736899098702974]
本稿では、エンティティ情報、関係知識、エンティティタイプ制約を協調的に考慮する新しいパラダイムであるContrastive Learning with Descriptive Relation Prompts(CTL-)を提案する。
CTL-はTACREDで76.7%のF1スコアを獲得している。
新しい提案パラダイムは、最先端のパフォーマンスであるTACREVとRe-TACREDでそれぞれ85.8%と91.6%のF1スコアを達成する。
論文 参考訳（メタデータ） (2023-04-11T02:15:13Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳（メタデータ） (2022-06-20T03:09:46Z) - VLCDoC: Vision-Language Contrastive Pre-Training Model for Cross-Modal
Document Classification [3.7798600249187295]
文書データからのマルチモーダル学習は、前もって意味論的に意味のある機能を学習可能な下流タスクに事前学習可能にすることで、近年大きな成功を収めている。
本稿では,言語と視覚の手がかりを通したクロスモーダル表現の学習により,文書分類問題にアプローチする。
提案手法は,ハイレベルなインタラクションを利用して,モダリティ内外における効果的な注意の流れから関連する意味情報を学習する。
論文 参考訳（メタデータ） (2022-05-24T12:28:12Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Conditional Contrastive Learning: Removing Undesirable Information in
Self-Supervised Representations [108.29288034509305]
我々は,自己指導型表現において望ましくない情報を除去するために,条件付きコントラスト学習を開発する。
提案手法は,下流タスクの自己教師付き表現をうまく学習できることを実証的に実証する。
論文 参考訳（メタデータ） (2021-06-05T10:51:26Z) - Adaptive Attentional Network for Few-Shot Knowledge Graph Completion [16.722373937828117]
Few-shot Knowledge Graph (KG) の完成は、現在の研究の焦点であり、各タスクは、数少ない参照エンティティペアを考えると、関係の見えない事実をクエリすることを目的としている。
最近の試みでは、エンティティと参照の静的表現を学習し、それらの動的特性を無視してこの問題を解決している。
本研究は,適応実体と参照表現を学習することにより,数ショットのKG補完のための適応的注意ネットワークを提案する。
論文 参考訳（メタデータ） (2020-10-19T16:27:48Z) - Null-sampling for Interpretable and Fair Representations [8.654168514863649]
データ領域における不変表現を学習し、アルゴリズム的公正性における解釈可能性を実現する。
データドメインに表現を配置することで、モデルによってなされた変更は、人間の監査官によって容易に検査可能である。
論文 参考訳（メタデータ） (2020-08-12T11:49:01Z) - Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。
提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。
既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
論文 参考訳（メタデータ） (2020-04-28T17:17:11Z) - Fairness by Learning Orthogonal Disentangled Representations [50.82638766862974]
不変表現問題に対する新しい非絡み合い手法を提案する。
エントロピーによりセンシティブな情報に依存しない有意義な表現を強制する。
提案手法は5つの公開データセットで評価される。
論文 参考訳（メタデータ） (2020-03-12T11:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。