論文の概要: GADePo: Graph-Assisted Declarative Pooling Transformers for Document-Level Relation Extraction

• arxiv url: http://arxiv.org/abs/2308.14423v1
• Date: Mon, 28 Aug 2023 09:04:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 14:40:54.399641
• Title: GADePo: Graph-Assisted Declarative Pooling Transformers for Document-Level Relation Extraction
• Title（参考訳）: GADePo:文書レベル関係抽出のためのグラフ支援宣言型ポーリング変換器
• Authors: Andrei C. Coman, Christos Theodoropoulos, Marie-Francine Moens, James Henderson
• Abstract要約: 文書レベルの関係抽出は、文書内のエンティティ間の関係を特定することを目的としている。 現在の手法はテキストベースのエンコーダに依存しており、情報を集約するために様々な手書きプーリングを使用している。 トランスフォーマーモデルの内在的なグラフ処理機能を活用することにより,これらの厳密なプール関数を明示的なグラフ関係に置き換える。
• 参考スコア（独自算出の注目度）: 31.028427528376984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Document-level relation extraction aims to identify relationships between entities within a document. Current methods rely on text-based encoders and employ various hand-coded pooling heuristics to aggregate information from entity mentions and associated contexts. In this paper, we replace these rigid pooling functions with explicit graph relations by leveraging the intrinsic graph processing capabilities of the Transformer model. We propose a joint text-graph Transformer model, and a graph-assisted declarative pooling (GADePo) specification of the input which provides explicit and high-level instructions for information aggregation. This allows the pooling process to be guided by domain-specific knowledge or desired outcomes but still learned by the Transformer, leading to more flexible and customizable pooling strategies. We extensively evaluate our method across diverse datasets and models, and show that our approach yields promising results that are comparable to those achieved by the hand-coded pooling functions.
• Abstract（参考訳）: 文書レベルの関係抽出は、文書内のエンティティ間の関係を識別することを目的としている。 現在の手法はテキストベースのエンコーダに依存しており、エンティティの参照や関連するコンテキストから情報を集約するために様々な手書きプーリングヒューリスティックを使用している。 本稿では,これらの厳密なプーリング関数を,トランスフォーマーモデルの固有グラフ処理機能を利用して明示的なグラフ関係に置き換える。 本稿では,共同テキストグラフ変換モデルと,情報集約のための明示的かつ高レベルな命令を提供する入力のグラフ支援宣言プール(GADePo)仕様を提案する。 これにより、プーリングプロセスはドメイン固有の知識や望ましい結果によって導かれるが、トランスフォーマーによっても学習され、より柔軟でカスタマイズ可能なプーリング戦略につながる。 提案手法は多様なデータセットやモデルにまたがって広範に評価され,手作業によるプール機能に匹敵する有望な結果が得られることを示す。

関連論文リスト

• Fast-and-Frugal Text-Graph Transformers are Effective Link Predictors [28.403174369346715]
  リンク予測モデルは、エンティティとリレーションのテキスト記述を取り入れることで、動的グラフに完全に帰納的学習と柔軟性を実現することができる。 本稿では,テキスト記述とグラフ構造を効果的に統合し,リソース集約型テキストエンコーダへの依存を減らすトランスフォーマーベースのアプローチを提案する。 本稿では,FnF-TG(Fast-and-Frugal Text-Graph)トランスフォーマーの高速化とスケーラビリティを両立させながら,従来の最先端手法よりも優れた性能を実現していることを示す。
  論文  参考訳（メタデータ） (2024-08-13T10:04:29Z)
• GraphER: A Structure-aware Text-to-Graph Model for Entity and Relation Extraction [3.579132482505273]
  自然言語処理(NLP)における情報抽出は重要な課題である グラフ構造学習(GSL)として定式化する手法を提案する。 この定式化により、エンティティとリレーショナル予測のためのより良い相互作用と構造インフォームド決定が可能になる。
  論文  参考訳（メタデータ） (2024-04-18T20:09:37Z)
• Relation Rectification in Diffusion Model [64.84686527988809]
  本稿では,最初に生成できない関係を正確に表現するためにモデルを洗練することを目的とした,リレーション・リクティフィケーション(Relation Rectification)と呼ばれる新しいタスクを紹介する。 異種グラフ畳み込みネットワーク(HGCN)を利用した革新的な解を提案する。 軽量HGCNは、テキストエンコーダによって生成されたテキスト埋め込みを調整し、埋め込み空間におけるテキスト関係の正確な反映を保証する。
  論文  参考訳（メタデータ） (2024-03-29T15:54:36Z)
• A Semantic Mention Graph Augmented Model for Document-Level Event Argument Extraction [12.286432133599355]
  Document-level Event Argument extract (DEAE)は、構造化されていないドキュメントから引数とその特定の役割を特定することを目的としている。 DEAEの先進的なアプローチは、事前訓練された言語モデル(PLM)を誘導するプロンプトベースの手法を用いて、入力文書から引数を抽出する。 本稿では,この2つの問題に対処するために,グラフ拡張モデル (GAM) のセマンティック言及を提案する。
  論文  参考訳（メタデータ） (2024-03-12T08:58:07Z)
• Zero-shot Composed Text-Image Retrieval [72.43790281036584]
  合成画像検索(CIR)の問題点を考察する。 テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
  論文  参考訳（メタデータ） (2023-06-12T17:56:01Z)
• What does Transformer learn about source code? [26.674180481543264]
  トランスをベースとした表現モデルは、多くのタスクで最先端(SOTA)のパフォーマンスを達成した。 本稿では,変換器が学習した構造情報を調べる手法であるアグリゲートアテンションスコアを提案する。 また、事前学習したモデルからプログラムグラフを自動的に抽出する新しい方法である、集約されたアテンショングラフも提案した。
  論文  参考訳（メタデータ） (2022-07-18T09:33:04Z)
• Relphormer: Relational Graph Transformer for Knowledge Graph Representations [25.40961076988176]
  本稿ではRelphormerと呼ばれる知識グラフ表現のためのTransformerの新しい変種を提案する。 本稿では,関係情報をエンコードし,意味情報を実体や関係内に保持する構造強化型自己認識機構を提案する。 6つのデータセットの実験結果から、Relphormerはベースラインよりも優れたパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-05-22T15:30:18Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
  本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。 PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。 GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
  論文  参考訳（メタデータ） (2021-04-12T21:24:02Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• HittER: Hierarchical Transformers for Knowledge Graph Embeddings [85.93509934018499]
  複雑な知識グラフにおける実体と関係の表現を学習するためにHittを提案する。 実験結果から,Hittは複数リンク予測において最先端の新たな結果が得られることがわかった。 さらに,HittをBERTに統合する簡単なアプローチを提案し,その効果を2つのFreebaseファクトイド対応データセットで示す。
  論文  参考訳（メタデータ） (2020-08-28T18:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。