論文の概要: R2D2: Relational Text Decoding with Transformers

• arxiv url: http://arxiv.org/abs/2105.04645v1
• Date: Mon, 10 May 2021 19:59:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 14:00:40.404580
• Title: R2D2: Relational Text Decoding with Transformers
• Title（参考訳）: r2d2: トランスフォーマーによるリレーショナルテキストデコーディング
• Authors: Aryan Arbabi, Mingqiu Wang, Laurent El Shafey, Nan Du, Izhak Shafran
• Abstract要約: グラフ構造とそれらのノードとエッジに関連付けられた自然言語テキストとの相互作用をモデル化する新しいフレームワークを提案する。 提案手法は,グラフィカル構造とテキストのシーケンシャルな性質の両方を利用する。 提案モデルには幅広い応用があるが,データ・テキスト生成タスクにおけるその機能を示す。
• 参考スコア（独自算出の注目度）: 18.137828323277347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel framework for modeling the interaction between graphical structures and the natural language text associated with their nodes and edges. Existing approaches typically fall into two categories. On group ignores the relational structure by converting them into linear sequences and then utilize the highly successful Seq2Seq models. The other side ignores the sequential nature of the text by representing them as fixed-dimensional vectors and apply graph neural networks. Both simplifications lead to information loss. Our proposed method utilizes both the graphical structure as well as the sequential nature of the texts. The input to our model is a set of text segments associated with the nodes and edges of the graph, which are then processed with a transformer encoder-decoder model, equipped with a self-attention mechanism that is aware of the graphical relations between the nodes containing the segments. This also allows us to use BERT-like models that are already trained on large amounts of text. While the proposed model has wide applications, we demonstrate its capabilities on data-to-text generation tasks. Our approach compares favorably against state-of-the-art methods in four tasks without tailoring the model architecture. We also provide an early demonstration in a novel practical application -- generating clinical notes from the medical entities mentioned during clinical visits.
• Abstract（参考訳）: グラフ構造とそれらのノードとエッジに関連する自然言語テキストとの相互作用をモデル化する新しいフレームワークを提案する。 既存のアプローチは通常2つのカテゴリに分類される。 on 群は関係構造を線形列に変換して無視し、非常に成功した seq2seq モデルを利用する。 他方では、テキストを固定次元ベクトルとして表現し、グラフニューラルネットワークを適用することで、テキストのシーケンシャルな性質を無視する。 どちらの単純化も情報損失につながる。 提案手法は,図形構造とテキストの逐次的性質の両方を利用する。 我々のモデルへの入力は、グラフのノードとエッジに関連付けられた一連のテキストセグメントであり、その後、トランスフォーマエンコーダ-デコーダモデルで処理され、セグメントを含むノード間のグラフィカルな関係を認識する自己対応機構を備えている。 これにより、すでに大量のテキストでトレーニングされているBERTのようなモデルも使用できます。 提案モデルには幅広い応用があるが,データ・テキスト生成タスクにおけるその機能を示す。 提案手法は, モデルアーキテクチャをカスタマイズすることなく, 4つのタスクにおける最先端の手法と比較した。 また,臨床訪問中に言及された医療機関から臨床ノートを作成できる新しい実践的応用の早期のデモンストレーションも提供する。

関連論文リスト

• Dynamic Relation Transformer for Contextual Text Block Detection [9.644204545582742]
  コンテキストテキストブロック検出は、自然シーンの複雑さの中でコヒーレントテキストブロックを識別するタスクである。 従来の手法では、CTBDはコンピュータビジョンにおける視覚的関係抽出の課題であったり、シーケンスモデリングの問題であったりしていた。 グラフ生成問題として CTBD をフレーム化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-17T14:17:59Z)
• DocGraphLM: Documental Graph Language Model for Information Extraction [15.649726614383388]
  本稿では,事前学習した言語モデルとグラフセマンティクスを組み合わせたフレームワークDocGraphLMを紹介する。 これを実現するために,1)文書を表す共同エンコーダアーキテクチャを提案し,2)文書グラフを再構築するための新しいリンク予測手法を提案する。 3つのSotAデータセットに対する実験により、IEおよびQAタスクにおける一貫した改善とグラフ機能の導入が示された。
  論文  参考訳（メタデータ） (2024-01-05T14:15:36Z)
• An Autoregressive Text-to-Graph Framework for Joint Entity and Relation Extraction [4.194768796374315]
  条件付きシーケンス生成問題としてフレーミングすることで、非構造化テキストから結合エンティティと関係抽出を行う新しい手法を提案する。 ノードがテキストスパンを表し、エッジが関係トリプレットを表す線形化グラフを生成する。 本手法では,スパンと関係型の動的語彙にポインティング機構を付加したトランスフォーマーエンコーダデコーダアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2024-01-02T18:32:14Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• CoSE: Compositional Stroke Embeddings [52.529172734044664]
  本稿では、ストロークベースの描画タスクのような複雑な自由形式構造に対する生成モデルを提案する。 我々のアプローチは、自動補完図のようなインタラクティブなユースケースに適している。
  論文  参考訳（メタデータ） (2020-06-17T15:22:54Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation [9.416757363901295]
  単純だが明示的なコヒーレンスモデリングを用いたテキストセグメンテーションのための新しい教師付きモデルを提案する。 我々のモデルは、2つの階層的に連結されたトランスフォーマーネットワークからなるニューラルネットワークであり、文レベルのセグメンテーション目標と、正しい文列と腐敗した文列を区別するコヒーレンス目標を結合するマルチタスク学習モデルである。
  論文  参考訳（メタデータ） (2020-01-03T17:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。