論文の概要: FLAG: Financial Long Document Classification via AMR-based GNN

• arxiv url: http://arxiv.org/abs/2410.02024v3
• Date: Tue, 22 Oct 2024 18:22:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:25:11.610503
• Title: FLAG: Financial Long Document Classification via AMR-based GNN
• Title（参考訳）: FLAG:AMRベースのGNNによる財務文書分類
• Authors: Bolun "Namir" Xia, Aparna Gupta, Mohammed J. Zaki,
• Abstract要約: FLAG: AMRベースのGNNによるファイナンシャル・ロング・ドキュメントの分類。 我々は,文レベルAMRグラフから文書レベルグラフを構築し,財務領域に特殊なLLM単語埋め込みを付与し,GNNを利用したディープラーニング機構を適用し,長い財務文書からラベル付きターゲットデータを予測するためのAMRベースのアプローチの有効性を検討する。
• 参考スコア（独自算出の注目度）: 14.307352928295858
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The advent of large language models (LLMs) has initiated much research into their various financial applications. However, in applying LLMs on long documents, semantic relations are not explicitly incorporated, and a full or arbitrarily sparse attention operation is employed. In recent years, progress has been made in Abstract Meaning Representation (AMR), which is a graph-based representation of text to preserve its semantic relations. Since AMR can represent semantic relationships at a deeper level, it can be beneficially utilized by graph neural networks (GNNs) for constructing effective document-level graph representations built upon LLM embeddings to predict target metrics in the financial domain. We propose FLAG: Financial Long document classification via AMR-based GNN, an AMR graph based framework to generate document-level embeddings for long financial document classification. We construct document-level graphs from sentence-level AMR graphs, endow them with specialized LLM word embeddings in the financial domain, apply a deep learning mechanism that utilizes a GNN, and examine the efficacy of our AMR-based approach in predicting labeled target data from long financial documents. Extensive experiments are conducted on a dataset of quarterly earnings calls transcripts of companies in various sectors of the economy, as well as on a corpus of more recent earnings calls of companies in the S&P 1500 Composite Index. We find that our AMR-based approach outperforms fine-tuning LLMs directly on text in predicting stock price movement trends at different time horizons in both datasets. Our work also outperforms previous work utilizing document graphs and GNNs for text classification.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、その様々な金融的応用について多くの研究を開始した。 しかし、長い文書にLLMを適用する際には、意味関係は明示的には組み込まれず、完全にあるいは任意に注意を払っている。 近年,抽象的意味表現(AMR,Abstract Meaning Representation)は,意味的関係を維持するためのグラフベースのテキスト表現である。 AMRはセマンティックな関係をより深いレベルで表現できるため、LLM埋め込み上に構築された効果的な文書レベルのグラフ表現を構築するためにグラフニューラルネットワーク(GNN)によって有益な利用が可能となる。 AMRグラフベースのフレームワークであるGNNを用いて、長期財務文書分類のための文書レベルの埋め込みを生成する。 我々は,文レベルAMRグラフから文書レベルグラフを構築し,財務領域に特殊なLLM単語埋め込みを付与し,GNNを利用したディープラーニング機構を適用し,長い財務文書からラベル付きターゲットデータを予測するためのAMRベースのアプローチの有効性を検討する。 S&P1500総合指数の最近の決算報告のコーパスに加え、経済の様々な分野の企業の四半期決算報告のデータセットで大規模な実験が行われる。 我々のAMRベースのアプローチは、両方のデータセットで異なる時間軸で株価の動きの傾向を予測するために、テキスト上で微調整LDMよりも優れています。 本研究は,テキスト分類における文書グラフとGNNを用いた従来の作業よりも優れていた。

関連論文リスト

• Graph-Augmented Relation Extraction Model with LLMs-Generated Support Document [7.0421339410165045]
  本研究では,文レベルの関係抽出(RE)に対する新しいアプローチを提案する。 グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を統合し、コンテキストに富んだサポートドキュメントを生成する。 そこで,CrossREデータセットを用いて実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-30T20:48:34Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• All Against Some: Efficient Integration of Large Language Models for Message Passing in Graph Neural Networks [51.19110891434727]
  事前訓練された知識と強力なセマンティック理解能力を持つ大規模言語モデル(LLM)は、最近、視覚とテキストデータを使用してアプリケーションに恩恵をもたらす顕著な能力を示している。 E-LLaGNNは、グラフから限られたノード数を増やして、グラフ学習のメッセージパッシング手順を強化するオンデマンドLLMサービスを備えたフレームワークである。
  論文  参考訳（メタデータ） (2024-07-20T22:09:42Z)
• Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs [4.487720716313697]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 本研究では,LLMの情報検索とテキスト生成機能を活用して,ノード分類設定の下でのテキスト分散グラフ(TAG)のトポロジ構造を洗練・強化する方法について検討する。
  論文  参考訳（メタデータ） (2023-11-24T07:53:48Z)
• A Survey of Graph Meets Large Language Model: Progress and Future Directions [38.63080573825683]
  大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 LLMはグラフ関連タスクに活用され、従来のグラフニューラルネットワーク(GNN)ベースの手法を超越している。
  論文  参考訳（メタデータ） (2023-11-21T07:22:48Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs [59.74814230246034]
  大規模言語モデル(LLM)は、広範な共通知識と強力な意味理解能力を持つことが証明されている。 LLMs-as-EnhancersとLLMs-as-Predictorsの2つのパイプラインについて検討する。
  論文  参考訳（メタデータ） (2023-07-07T05:31:31Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Enhancing Keyphrase Extraction from Long Scientific Documents using Graph Embeddings [9.884735234974967]
  グラフ埋め込みによる言語モデルの強化は、単語のより包括的なセマンティック理解を提供することを示す。 グラフ埋め込みによるPLMの強化は、長い文書の最先端モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T09:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。