論文の概要: Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction

• arxiv url: http://arxiv.org/abs/2211.01432v1
• Date: Wed, 2 Nov 2022 19:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 12:14:18.177457
• Title: Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction
• Title（参考訳）: 遠隔教師付き関係抽出のためのクロスストッチテキストと知識グラフエンコーダ
• Authors: Qin Dai, Benjamin Heinzerling, Kentaro Inui
• Abstract要約: テキストと知識グラフ(KG)に見られる相補的情報を活用するために,遠隔教師付き関係抽出のためのバイエンコーダアーキテクチャを設計する 本稿では,テキストエンコーダとKGエンコーダのクロススティッチ機構による完全なインタラクションを実現するクロススティッチバイエンコーダを提案する。
• 参考スコア（独自算出の注目度）: 30.274065305756057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bi-encoder architectures for distantly-supervised relation extraction are designed to make use of the complementary information found in text and knowledge graphs (KG). However, current architectures suffer from two drawbacks. They either do not allow any sharing between the text encoder and the KG encoder at all, or, in case of models with KG-to-text attention, only share information in one direction. Here, we introduce cross-stitch bi-encoders, which allow full interaction between the text encoder and the KG encoder via a cross-stitch mechanism. The cross-stitch mechanism allows sharing and updating representations between the two encoders at any layer, with the amount of sharing being dynamically controlled via cross-attention-based gates. Experimental results on two relation extraction benchmarks from two different domains show that enabling full interaction between the two encoders yields strong improvements.
• Abstract（参考訳）: テキストと知識グラフ(KG)に見られる相補的な情報を活用するために,遠隔教師付き関係抽出のためのバイエンコーダアーキテクチャを設計する。 しかし、現在のアーキテクチャには2つの欠点がある。 それらは、テキストエンコーダとKGエンコーダ間の共有を一切許可しないか、あるいはKG-to-textアテンションを持つモデルの場合、一方の方向にのみ情報を共有する。 本稿では,クロスストッチ機構を介してテキストエンコーダとkgエンコーダとの完全なインタラクションを可能にするクロスストッチバイエンコーダを紹介する。 クロスストッチ機構は、任意のレイヤにおける2つのエンコーダ間の表現の共有と更新を可能にし、共有の量はクロスアテンションベースのゲートを介して動的に制御される。 2つの異なる領域の2つの関係抽出ベンチマークの実験結果は、2つのエンコーダ間の完全な相互作用を可能にすることが強い改善をもたらすことを示している。

関連論文リスト

• A Simple Baseline with Single-encoder for Referring Image Segmentation [14.461024566536478]
  本稿では,単一エンコーダ(BEiT-3)を用いたRIS法を提案する。 単一エンコーダによる単純なベースラインは、RISベンチマークデータセット上で優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-28T04:14:01Z)
• Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation [54.23510028456082]
  半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。 このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
  論文  参考訳（メタデータ） (2023-09-22T01:02:21Z)
• Towards Diverse Binary Segmentation via A Simple yet General Gated Network [71.19503376629083]
  本稿では,バイナリセグメンテーションタスクに対処するシンプルな汎用ネットワーク(GateNet)を提案する。 多段ゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに選択的に送信することができる。 我々は,アトーラスの畳み込みを改善し,新規な折り畳み畳み畳み畳み畳み込みを形成する「Fold」操作を導入した。
  論文  参考訳（メタデータ） (2023-03-18T11:26:36Z)
• LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text Retrieval [117.15862403330121]
  共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。 具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
  論文  参考訳（メタデータ） (2022-03-10T16:41:12Z)
• Distilled Dual-Encoder Model for Vision-Language Understanding [50.42062182895373]
  本稿では,視覚言語理解タスクのためのデュアルエンコーダモデルをトレーニングするための多モードアテンション蒸留フレームワークを提案する。 プレトレーニングと微調整の両方にクロスモーダルアテンション蒸留を適用することで,さらなる改良が期待できることを示す。
  論文  参考訳（メタデータ） (2021-12-16T09:21:18Z)
• Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations [22.40667024030858]
  バイエンコーダは固定次元の文表現を生成し、計算効率が良い。 クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。 Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
  論文  参考訳（メタデータ） (2021-09-27T14:06:47Z)
• Crosslink-Net: Double-branch Encoder Segmentation Network via Fusing Vertical and Horizontal Convolutions [58.71117402626524]
  医用画像分割のための新しいダブルブランチエンコーダアーキテクチャを提案する。 1)正方形畳み込みカーネルによる特徴の識別をさらに改善する必要があるため,非正方形および水平畳み込みカーネルの利用を提案する。 実験では,4つのデータセット上でのモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2021-07-24T02:58:32Z)
• Suppress and Balance: A Simple Gated Network for Salient Object Detection [89.88222217065858]
  両問題を同時に解くための単純なゲートネットワーク(GateNet)を提案する。 多レベルゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに最適に送信することができる。 さらに,提案したFold-ASPP操作(Fold-ASPP)に基づくアトラス空間ピラミッドプーリングを用いて,様々なスケールのサリアンオブジェクトを正確に位置決めする。
  論文  参考訳（メタデータ） (2020-07-16T02:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。