論文の概要: An Encoder-Integrated PhoBERT with Graph Attention for Vietnamese Token-Level Classification

• arxiv url: http://arxiv.org/abs/2510.11537v1
• Date: Mon, 13 Oct 2025 15:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.43523
• Title: An Encoder-Integrated PhoBERT with Graph Attention for Vietnamese Token-Level Classification
• Title（参考訳）: ベトナムのトークンレベル分類のためのグラフ注意付きエンコーダ付きPhoBERT
• Authors: Ba-Quang Nguyen,
• Abstract要約: トークンレベルの分類処理のために,事前学習されたトランスフォーマーエンコーダ(PhoBERT)とグラフ注意ネットワークを統合した,TextGraphFuseGATという新しいニューラルネットワークを提案する。 提案モデルは,PhoBERTが生成したトークン埋め込み上に完全に連結したグラフを構築し,GAT層が豊富なトークン間の依存関係をキャプチャすることを可能にする。 PhoNER-COVID19, PhoDisfluency, VietMed-NER, VietMed-NERの3つのベンチマークデータセットについて検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel neural architecture named TextGraphFuseGAT, which integrates a pretrained transformer encoder (PhoBERT) with Graph Attention Networks for token-level classification tasks. The proposed model constructs a fully connected graph over the token embeddings produced by PhoBERT, enabling the GAT layer to capture rich inter-token dependencies beyond those modeled by sequential context alone. To further enhance contextualization, a Transformer-style self-attention layer is applied on top of the graph-enhanced embeddings. The final token representations are passed through a classification head to perform sequence labeling. We evaluate our approach on three Vietnamese benchmark datasets: PhoNER-COVID19 for named entity recognition in the COVID-19 domain, PhoDisfluency for speech disfluency detection, and VietMed-NER for medical-domain NER. VietMed-NER is the first Vietnamese medical spoken NER dataset, featuring 18 entity types collected from real-world medical speech transcripts and annotated with the BIO tagging scheme. Its specialized vocabulary and domain-specific expressions make it a challenging benchmark for token-level classification models. Experimental results show that our method consistently outperforms strong baselines, including transformer-only and hybrid neural models such as BiLSTM + CNN + CRF, confirming the effectiveness of combining pretrained semantic features with graph-based relational modeling for improved token classification across multiple domains.
• Abstract（参考訳）: トークンレベルの分類処理のために,事前学習されたトランスフォーマーエンコーダ(PhoBERT)とグラフ注意ネットワークを統合した,TextGraphFuseGATという新しいニューラルネットワークを提案する。 提案モデルでは,PhoBERTが生成したトークン埋め込み上に完全に連結したグラフを構築する。 文脈化をさらに強化するため、グラフ強化埋め込みの上にトランスフォーマースタイルの自己アテンション層を適用する。 最終トークン表現は、分類ヘッドを通過してシーケンスラベリングを行う。 PhoNER-COVID19, PhoDisfluency, VietMed-NER, VietMed-NERの3つのベンチマークデータセットについて検討した。 VietMed-NERはベトナム初の医療用音声NERデータセットで、実際の医療用音声テキストから収集された18のエンティティタイプと、BIOタグ付け方式で注釈付けされている。 その特殊語彙とドメイン固有表現はトークンレベルの分類モデルの挑戦的なベンチマークとなる。 実験結果から,提案手法は,BiLSTM+CNN+CRFなどのトランスフォーマーのみとハイブリッドニューラルモデルを含む,強いベースラインを一貫して上回り,事前学習したセマンティック特徴とグラフベースの関係モデルを組み合わせることで,複数の領域にわたるトークン分類を改善する効果が確認された。

関連論文リスト

• FireGNN: Neuro-Symbolic Graph Neural Networks with Trainable Fuzzy Rules for Interpretable Medical Image Classification [5.6148382426295305]
  本稿では、医用画像分類のための訓練可能なファジィルールをGNNに統合した、グラフに基づく解釈可能な学習フレームワークFireGNNを提案する。 ファジィルール強化モデルは,5つのMedMNISTベンチマークと合成データセットMorphoMNISTで高い性能を実現する。
  論文  参考訳（メタデータ） (2025-09-02T12:57:54Z)
• Degree-Conscious Spiking Graph for Cross-Domain Adaptation [51.58506501415558]
  Spiking Graph Networks (SGNs) はグラフ分類において大きな可能性を証明している。 DeSGraDA(Degree-Consicious Spiking Graph for Cross-Domain Adaptation)という新しいフレームワークを紹介する。 DeSGraDAは3つのキーコンポーネントを持つドメイン間の一般化を強化する。
  論文  参考訳（メタデータ） (2024-10-09T13:45:54Z)
• Subgraph Clustering and Atom Learning for Improved Image Classification [4.499833362998488]
  本稿では,特徴抽出のための畳み込みニューラルネットワーク(CNN)と構造モデリングのためのグラフニューラルネットワーク(GNN)の長所を融合した,新しいハイブリッド画像分類モデルであるグラフサブグラフネットワーク(GSN)を提案する。 GSNはk平均クラスタリングを使用してグラフノードをクラスタにグループ化し、サブグラフの作成を容易にする。 これらの部分グラフを使用して、辞書学習のための代表原子を学習し、スパースでクラス区別可能な特徴の識別を可能にする。
  論文  参考訳（メタデータ） (2024-07-20T06:32:00Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Domain-adaptive Message Passing Graph Neural Network [67.35534058138387]
  クロスネットワークノード分類(CNNC)は、豊富なラベルを持つソースネットワークから知識を転送することで、ラベル不足のターゲットネットワーク内のノードを分類することを目的としている。 本稿では,グラフニューラルネットワーク(GNN)と条件付き対向ドメイン適応を統合したドメイン適応型メッセージパッシンググラフニューラルネットワーク(DM-GNN)を提案する。
  論文  参考訳（メタデータ） (2023-08-31T05:26:08Z)
• Stacking Ensemble Learning in Deep Domain Adaptation for Ophthalmic Image Classification [61.656149405657246]
  ドメイン適応は、十分なラベルデータを取得することが困難な画像分類タスクに有効である。 本稿では,3つのドメイン適応手法を拡張することで,アンサンブル学習を積み重ねるための新しい手法SELDAを提案する。 Age-Related Eye Disease Study (AREDS)ベンチマーク眼科データセットを用いた実験結果から,提案モデルの有効性が示された。
  論文  参考訳（メタデータ） (2022-09-27T14:19:00Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。