論文の概要: Graph-tree Fusion Model with Bidirectional Information Propagation for Long Document Classification
- arxiv url: http://arxiv.org/abs/2410.02930v1
- Date: Thu, 3 Oct 2024 19:25:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 04:55:13.129156
- Title: Graph-tree Fusion Model with Bidirectional Information Propagation for Long Document Classification
- Title（参考訳）: 双方向情報伝搬を用いた長期文書分類のためのグラフツリー融合モデル
- Authors: Sudipta Singha Roy, Xindi Wang, Robert E. Mercer, Frank Rudzicz,
- Abstract要約: 長い文書分類は、その広範な内容と複雑な構造のために困難を呈する。
既存のメソッドはトークン制限に苦しむことが多く、ドキュメント内の階層的関係を適切にモデル化することができない。
本手法は,文エンコーディングのための構文木と文書エンコーディングのための文書グラフを統合し,より詳細な構文関係とより広い文書コンテキストを抽出する。
- 参考スコア（独自算出の注目度）: 20.434941308959786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long document classification presents challenges in capturing both local and global dependencies due to their extensive content and complex structure. Existing methods often struggle with token limits and fail to adequately model hierarchical relationships within documents. To address these constraints, we propose a novel model leveraging a graph-tree structure. Our approach integrates syntax trees for sentence encodings and document graphs for document encodings, which capture fine-grained syntactic relationships and broader document contexts, respectively. We use Tree Transformers to generate sentence encodings, while a graph attention network models inter- and intra-sentence dependencies. During training, we implement bidirectional information propagation from word-to-sentence-to-document and vice versa, which enriches the contextual representation. Our proposed method enables a comprehensive understanding of content at all hierarchical levels and effectively handles arbitrarily long contexts without token limit constraints. Experimental results demonstrate the effectiveness of our approach in all types of long document classification tasks.
- Abstract（参考訳）: 長い文書分類は、その広範な内容と複雑な構造のために、局所的およびグローバルな依存関係をキャプチャする際の課題を示す。
既存のメソッドはトークン制限に苦しむことが多く、ドキュメント内の階層的関係を適切にモデル化することができない。
これらの制約に対処するために,グラフ木構造を利用した新しいモデルを提案する。
提案手法は,文エンコーディングのための構文木と文書エンコーディングのための文書グラフを統合し,より詳細な構文関係とより広い文書コンテキストを抽出する。
木変換器を用いて文エンコーディングを生成し,グラフアテンションネットワークは文間および文間依存関係をモデル化する。
トレーニング中、単語から文書への双方向情報伝達を実装し、その逆も実現し、文脈表現を豊かにする。
提案手法は,すべての階層レベルのコンテンツを包括的に理解し,トークン制限を伴わずに任意の長さのコンテキストを効果的に処理する。
実験の結果,長文分類作業におけるアプローチの有効性が示された。
関連論文リスト
- Contextual Document Embeddings [77.22328616983417]
本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。
第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。
第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
論文 参考訳（メタデータ） (2024-10-03T14:33:34Z) - Hierarchical Attention Graph for Scientific Document Summarization in Global and Local Level [3.7651378994837104]
ロングインプットは、文間の大域的高次関係と局所的文内関係を同時にモデル化することを妨げる。
本稿では,階層的談話構造に基づく文書のモデル化にグラフニューラルネットワークを用いた新しい手法であるHAESumを提案する。
提案手法を2つのベンチマークデータセットで検証し,実験結果からHAESumの有効性を実証した。
論文 参考訳（メタデータ） (2024-05-16T15:46:30Z) - GraphKD: Exploring Knowledge Distillation Towards Document Object
Detection with Structured Graph Creation [14.511401955827875]
ドキュメントにおけるオブジェクト検出は、構造的要素の識別プロセスを自動化するための重要なステップである。
文書画像中の文書オブジェクトを正しく識別し,ローカライズするための,グラフベースの知識蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-17T23:08:32Z) - Document-level Relation Extraction with Cross-sentence Reasoning Graph [14.106582119686635]
関係抽出(RE)は、最近、文レベルから文書レベルに移行した。
GRaph情報集約・クロスセンス推論ネットワーク(GRACR)を用いた新しい文書レベルのREモデルを提案する。
実験結果から,GRACRは文書レベルのREの2つの公開データセットにおいて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2023-03-07T14:14:12Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-03-15T01:24:51Z) - Unsupervised Matching of Data and Text [6.2520079463149205]
テキストコンテンツと構造化データとを教師なし設定でマッチングするフレームワークを導入する。
提案手法は,コーパスの内容に対して微細なグラフを構築し,低次元空間で一致する対象を表現するために単語埋め込みを導出する。
実使用事例と公開データセットの実験により、我々のフレームワークは単語埋め込みや微調整言語モデルよりも優れた埋め込みを生成することが示された。
論文 参考訳（メタデータ） (2021-12-16T10:40:48Z) - BASS: Boosting Abstractive Summarization with Unified Semantic Graph [49.48925904426591]
BASSは、統合されたセマンティックグラフに基づく抽象的な要約を促進するためのフレームワークである。
文書表現と要約生成の両方を改善するために,グラフベースのエンコーダデコーダモデルを提案する。
実験結果から,提案アーキテクチャは長期文書および複数文書要約タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2021-05-25T16:20:48Z) - Mention-centered Graph Neural Network for Document-level Relation
Extraction [2.724649366608364]
我々は, 相互関係関係を推定することで, 相互関係を構築する。
実験は、異なる言及間の接続が文書レベルの関係抽出に重要であることを示している。
論文 参考訳（メタデータ） (2021-03-15T08:19:44Z) - Heterogeneous Graph Neural Networks for Extractive Document
Summarization [101.17980994606836]
クロス文関係は、抽出文書要約における重要なステップである。
We present a graph-based neural network for extractive summarization (HeterSumGraph)
抽出文書要約のためのグラフベースニューラルネットワークに異なる種類のノードを導入する。
論文 参考訳（メタデータ） (2020-04-26T14:38:11Z) - Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning [72.52804406378023]
ビデオとテキスト間のクロスモーダル検索は、Web上のビデオの急速な出現により、注目を集めている。
微細なビデオテキスト検索を改善するために,ビデオテキストマッチングをグローバル-ローカルレベルに分解する階層グラフ推論モデルを提案する。
論文 参考訳（メタデータ） (2020-03-01T03:44:19Z) - Learning to Select Bi-Aspect Information for Document-Scale Text Content
Manipulation [50.01708049531156]
我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。
詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。
出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
論文 参考訳（メタデータ） (2020-02-24T12:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。