論文の概要: Capturing Global Structural Information in Long Document Question Answering with Compressive Graph Selector Network

• arxiv url: http://arxiv.org/abs/2210.05499v1
• Date: Tue, 11 Oct 2022 14:55:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 15:55:46.208564
• Title: Capturing Global Structural Information in Long Document Question Answering with Compressive Graph Selector Network
• Title（参考訳）: 圧縮グラフセレクタネットワークを用いた長文質問応答におけるグローバル構造情報のキャプチャ
• Authors: Yuxiang Nie, Heyan Huang, Wei Wei, Xian-Ling Mao
• Abstract要約: 本稿では,圧縮グラフセレクタネットワーク(CGSN)を提案する。 提案モデルは,ローカルグラフネットワーク,グローバルグラフネットワーク,エビデンスメモリネットワークの3つのモジュールから構成される。 大規模な実験により,提案手法は2つのデータセットにおいて従来手法よりも優れていたことがわかった。
• 参考スコア（独自算出の注目度）: 43.106911383391406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long document question answering is a challenging task due to its demands for complex reasoning over long text. Previous works usually take long documents as non-structured flat texts or only consider the local structure in long documents. However, these methods usually ignore the global structure of the long document, which is essential for long-range understanding. To tackle this problem, we propose Compressive Graph Selector Network (CGSN) to capture the global structure in a compressive and iterative manner. Specifically, the proposed model consists of three modules: local graph network, global graph network and evidence memory network. Firstly, the local graph network builds the graph structure of the chunked segment in token, sentence, paragraph and segment levels to capture the short-term dependency of the text. Secondly, the global graph network selectively receives the information of each level from the local graph, compresses them into the global graph nodes and applies graph attention into the global graph nodes to build the long-range reasoning over the entire text in an iterative way. Thirdly, the evidence memory network is designed to alleviate the redundancy problem in the evidence selection via saving the selected result in the previous steps. Extensive experiments show that the proposed model outperforms previous methods on two datasets.
• Abstract（参考訳）: 長い文章に対する複雑な推論を要求するため、長い文書の質問応答は難しい作業である。 以前の著作は通常、長文を非構造化平文として、あるいは長文の局所構造のみを考慮に入れる。 しかし、これらの手法は通常、長距離理解に不可欠な長い文書のグローバルな構造を無視している。 この問題に対処するために、圧縮的かつ反復的な方法でグローバル構造をキャプチャする圧縮グラフセレクタネットワーク(CGSN)を提案する。 具体的には,ローカルグラフネットワーク,グローバルグラフネットワーク,エビデンスメモリネットワークの3つのモジュールで構成される。 まず、局所グラフネットワークは、チャンクされたセグメントのグラフ構造をトークン、文、段落、セグメントレベルで構築し、テキストの短期的依存関係をキャプチャする。 次に、グローバルグラフネットワークは、ローカルグラフから各レベルの情報を選択的に受信し、それらをグローバルグラフノードに圧縮し、グローバルグラフノードにグラフ注意を適用して、テキスト全体の長距離推論を反復的に構築する。 第3に、エビデンスメモリネットワークは、前段で選択された結果を保存することにより、証拠選択における冗長性問題を軽減するように設計されている。 広範な実験により、提案手法は2つのデータセットの以前の手法よりも優れていることが示された。

関連論文リスト

• Bridging Local Details and Global Context in Text-Attributed Graphs [62.522550655068336]
  GraphBridgeは、コンテキストテキスト情報を活用することで、ローカルおよびグローバルな視点をブリッジするフレームワークである。 提案手法は最先端性能を実現し,グラフ対応トークン削減モジュールは効率を大幅に向上し,スケーラビリティの問題を解消する。
  論文  参考訳（メタデータ） (2024-06-18T13:35:25Z)
• G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering [61.93058781222079]
  現実のテキストグラフを対象とするフレキシブルな問合せフレームワークを開発した。 一般のテキストグラフに対する最初の検索拡張生成(RAG)手法を提案する。 G-Retrieverは、このタスクをSteiner Tree最適化問題として定式化し、グラフ上でRAGを実行する。
  論文  参考訳（メタデータ） (2024-02-12T13:13:04Z)
• HUGE: Huge Unsupervised Graph Embeddings with TPUs [6.108914274067702]
  グラフ埋め込み(Graph Embedding)は、グラフ内のノードを連続的に表現するプロセスである。 高帯域幅メモリを利用した高性能グラフ埋め込みアーキテクチャを提案する。 実・合成大規模データセット上での埋め込み空間の品質を検証する。
  論文  参考訳（メタデータ） (2023-07-26T20:29:15Z)
• Structure-Preserving Graph Representation Learning [43.43429108503634]
  本研究では,グラフの構造情報を完全にキャプチャする構造保存グラフ表現学習(SPGRL)手法を提案する。 具体的には、元のグラフの不確かさと誤情報を減らすために、k-Nearest Neighbor法による補完的なビューとして特徴グラフを構築する。 本手法は、半教師付きノード分類タスクにおいて非常に優れた性能を示し、グラフ構造やノード特徴に対するノイズ摂動下での堅牢性に優れる。
  論文  参考訳（メタデータ） (2022-09-02T02:49:19Z)
• Sparse Structure Learning via Graph Neural Networks for Inductive Document Classification [2.064612766965483]
  帰納的文書分類のための新しいGNNに基づくスパース構造学習モデルを提案する。 本モデルでは,文間の不連続な単語を接続する訓練可能なエッジの集合を収集し,動的文脈依存性を持つエッジを疎結合に選択するために構造学習を用いる。 いくつかの実世界のデータセットの実験では、提案されたモデルがほとんどの最先端の結果より優れていることが示されている。
  論文  参考訳（メタデータ） (2021-12-13T02:36:04Z)
• A Multi-purposed Unsupervised Framework for Comparing Embeddings of Undirected and Directed Graphs [0.0]
  筆者らが最近導入したグラフ埋め込み評価フレームワークを拡張した。 適切な埋め込みは、基礎となるグラフトポロジと構造、ノード間関係、その他の関連する情報をキャプチャする必要がある。 フレームワークは柔軟でスケーラブルで、非指向/指向/重み付き/非重み付きグラフを扱うことができる。
  論文  参考訳（メタデータ） (2021-11-30T20:20:30Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Topology-Aware Graph Pooling Networks [51.9008939769679]
  ポーリング操作はコンピュータビジョンや自然言語処理タスクに有効である。 グラフデータ上でプーリング操作を実行する上での課題のひとつは、グラフ上で明確に定義されていない局所性の欠如である。 本稿では,グラフトポロジを明示的に考慮したトポロジ対応プーリング(TAP)層を提案する。
  論文  参考訳（メタデータ） (2020-10-19T20:14:30Z)
• Heterogeneous Graph Neural Networks for Extractive Document Summarization [101.17980994606836]
  クロス文関係は、抽出文書要約における重要なステップである。 We present a graph-based neural network for extractive summarization (HeterSumGraph) 抽出文書要約のためのグラフベースニューラルネットワークに異なる種類のノードを導入する。
  論文  参考訳（メタデータ） (2020-04-26T14:38:11Z)
• Geom-GCN: Geometric Graph Convolutional Networks [15.783571061254847]
  本稿では,この2つの弱点を克服するために,グラフニューラルネットワークのための新しい幾何集約手法を提案する。 提案したアグリゲーションスキームは置換不変であり、ノード埋め込み、構造近傍、二レベルアグリゲーションという3つのモジュールから構成される。 また,このスキームをGeom-GCNと呼ばれるグラフ畳み込みネットワークに実装し,グラフ上でトランスダクティブ学習を行う。
  論文  参考訳（メタデータ） (2020-02-13T00:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。