論文の概要: Contextual Graph Transformer: A Small Language Model for Enhanced Engineering Document Information Extraction
- arxiv url: http://arxiv.org/abs/2508.02532v1
- Date: Mon, 04 Aug 2025 15:41:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.410944
- Title: Contextual Graph Transformer: A Small Language Model for Enhanced Engineering Document Information Extraction
- Title（参考訳）: 文脈グラフ変換器:工学的文書情報抽出のための小言語モデル
- Authors: Karan Reddy, Mayukha Pal,
- Abstract要約: Contextual Graph Transformer(CGT)は、グラフニューラルネットワーク(GNN)とトランスフォーマーを組み合わせたハイブリッドニューラルネットワークである。
CGTはシーケンシャル、スキップグラム、セマンティック類似性エッジを用いて入力トークン上の動的グラフを構築する。
GPT-2やBERTのようなベースラインよりも優れており、パラメータが62.4%少ないGPT-2よりも24.7%高い精度である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Standard transformer-based language models, while powerful for general text, often struggle with the fine-grained syntax and entity relationships in complex technical, engineering documents. To address this, we propose the Contextual Graph Transformer (CGT), a hybrid neural architecture that combines Graph Neural Networks (GNNs) and Transformers for domain-specific question answering. CGT constructs a dynamic graph over input tokens using sequential, skip-gram, and semantic similarity edges, which is processed by GATv2Conv layers for local structure learning. These enriched embeddings are then passed to a Transformer encoder to capture global dependencies. Unlike generic large models, technical domains often require specialized language models with stronger contextualization and structure awareness. CGT offers a parameter-efficient solution for such use cases. Integrated into a Retrieval-Augmented Generation (RAG) pipeline, CGT outperforms baselines like GPT-2 and BERT, achieving 24.7% higher accuracy than GPT-2 with 62.4% fewer parameters. This gain stems from CGTs ability to jointly model structural token interactions and long-range semantic coherence. The model is trained from scratch using a two-phase approach: pretraining on general text followed by fine-tuning on domain-specific manuals. This highlights CGTs adaptability to technical language, enabling better grounding, entity tracking, and retrieval-augmented responses in real-world applications.
- Abstract（参考訳）: 標準トランスフォーマーベースの言語モデルは、一般的なテキストでは強力だが、複雑な技術的・工学的な文書の細かい構文や実体関係に悩まされることが多い。
そこで我々は,グラフニューラルネットワーク (GNN) とトランスフォーマーを組み合わせたハイブリッドニューラルネットワークである Contextual Graph Transformer (CGT) を提案する。
CGTは、逐次、スキップグラム、セマンティック類似性エッジを使用して入力トークン上の動的グラフを構築し、局所構造学習のためにGATv2Conv層によって処理される。
これらのリッチな埋め込みは、グローバルな依存関係をキャプチャするためにTransformerエンコーダに渡される。
一般的な大規模モデルとは異なり、技術的なドメインは、より強い文脈化と構造認識を持つ専門的な言語モデルを必要とすることが多い。
CGTはそのようなユースケースに対してパラメータ効率のよいソリューションを提供する。
Retrieval-Augmented Generation (RAG) パイプラインに統合され、CGT は GPT-2 や BERT などのベースラインを上回り、62.4% のパラメータで GPT-2 よりも24.7% 高い精度を実現している。
この利得は、CGTが構造的トークン相互作用と長距離セマンティックコヒーレンスを共同でモデル化する能力に起因している。
モデルは、一般的なテキストで事前学習し、ドメイン固有のマニュアルを微調整する2段階のアプローチを用いて、ゼロからトレーニングされる。
これはCGTの技術的言語への適応性を強調し、現実世界のアプリケーションにおけるより良い基盤化、エンティティの追跡、検索強化された応答を可能にする。
関連論文リスト
- Plain Transformers Can be Powerful Graph Learners [64.50059165186701]
研究者たちは、Transformerをグラフ学習に移行しようとしたが、ほとんどの高度なGraph Transformerは、普通のTransformerから遠く離れている。
この研究は、普通のTransformerアーキテクチャが強力なグラフ学習者になれることを示した。
論文 参考訳（メタデータ） (2025-04-17T02:06:50Z) - Transducer Tuning: Efficient Model Adaptation for Software Tasks Using Code Property Graphs [8.26418657158164]
アプローチは、コードプロパティグラフ(CPG)を使用して下流のコードタスクに大規模なモデルを適用するテクニックである。
我々のアプローチではTransducerと呼ばれるモジュラーコンポーネントを導入し、CPGからの構造化情報と依存性情報によってコード埋め込みを強化します。
その結果,最大99%のトレーニング可能なパラメータを削減し,最大99%のメモリ削減を実現した。
論文 参考訳（メタデータ） (2024-12-18T03:25:17Z) - GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model [63.774726052837266]
グラフニューラルネットワーク(GNN)とLarge Language Models(LLM)を深く統合した新しいアーキテクチャを導入する。
本稿では,(1)GNNのメッセージパッシング機能を直接LLMのトランスフォーマー層に組み込む構造対応トランスフォーマー,(2)グラフノードとエッジから圧縮されていない全テキストを処理するグラフテキストクロスアテンション,(3)GNN-LLMツインプレクタ,(3)GNN-LLMツインプレクタ,3)GNNのスケーラブルなワンパス予測とともに,LLMの柔軟な自己回帰生成を実現する。
論文 参考訳（メタデータ） (2024-12-08T05:49:58Z) - Learning Graph Quantized Tokenizers [28.79505338383552]
グラフ変換器(GT)は、幾何学的深層学習における主要なモデルとして登場した。
我々は、Transformerトレーニングからトークン処理器トレーニングを分離するGQT(textbfGraph textbfQuantized textbfTokenizer)を導入する。
GQTとトークン変調を組み合わせることで、Transformerエンコーダは22ベンチマーク中20ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-17T17:38:24Z) - How to Make LLMs Strong Node Classifiers? [70.14063765424012]
言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。
本稿では,ノード分類タスクにおける最先端(SOTA)GNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
論文 参考訳（メタデータ） (2024-10-03T08:27:54Z) - Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models [42.46104516313823]
依存性変換文法(Dependency Transformer Grammars、DTG)は、依存関係ベースの帰納バイアスを持つトランスフォーマー言語モデルの新しいクラスである。
DTGは制約された注意パターンで依存性遷移システムをシミュレートする。
Transformer言語モデルベースラインと同等のパープレキシティを維持しながら、より優れた一般化を実現する。
論文 参考訳（メタデータ） (2024-07-24T16:38:38Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - SIT3: Code Summarization with Structure-Induced Transformer [48.000063280183376]
シーケンシャル入力を高効率な構造モデリングでエンコードする構造誘起自己保持に基づく新しいモデルを提案する。
新たに提案したモデルでは,一般的なベンチマークで最新の結果が得られる。
論文 参考訳（メタデータ） (2020-12-29T11:37:43Z) - E.T.: Entity-Transformers. Coreference augmented Neural Language Model
for richer mention representations via Entity-Transformer blocks [3.42658286826597]
本稿では,ニューラルネットワークモデル,特にGPT2におけるTransformer-blockアーキテクチャの拡張について述べる。
我々のモデルであるGPT2Eは、GPT2のトランスフォーマー層アーキテクチャをEntity-Transformersに拡張しています。
論文 参考訳（メタデータ） (2020-11-10T22:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。