論文の概要: Transformer Enhanced Relation Classification: A Comparative Analysis of Contextuality, Data Efficiency and Sequence Complexity

• arxiv url: http://arxiv.org/abs/2509.11374v1
• Date: Sun, 14 Sep 2025 18:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.057015
• Title: Transformer Enhanced Relation Classification: A Comparative Analysis of Contextuality, Data Efficiency and Sequence Complexity
• Title（参考訳）: 変圧器強化関係分類:文脈性,データ効率,シーケンス複雑度の比較分析
• Authors: Bowen Jing, Yang Cui, Tianpeng Huang,
• Abstract要約: 本研究では,変圧器のない深層教師あり学習手法と変圧器を持たない学習手法の性能を体系的に比較する。 その結果,変圧器ベースモデルは非変圧器モデルより優れており,マイクロF1スコアは80-90%であった。 本稿では,大規模言語モデル(LLM)の関連抽出における役割と現状について概説する。
• 参考スコア（独自算出の注目度）: 9.402566546100973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the era of large language model, relation extraction (RE) plays an important role in information extraction through the transformation of unstructured raw text into structured data (Wadhwa et al., 2023). In this paper, we systematically compare the performance of deep supervised learning approaches without transformers and those with transformers. We used a series of non-transformer architectures such as PA-LSTM(Zhang et al., 2017), C-GCN(Zhang et al., 2018), and AGGCN(attention guide GCN)(Guo et al., 2019), and a series of transformer architectures such as BERT, RoBERTa, and R-BERT(Wu and He, 2019). Our comparison included traditional metrics like micro F1, as well as evaluations in different scenarios, varying sentence lengths, and different percentages of the dataset for training. Our experiments were conducted on TACRED, TACREV, and RE-TACRED. The results show that transformer-based models outperform non-transformer models, achieving micro F1 scores of 80-90% compared to 64-67% for non-transformer models. Additionally, we briefly review the research journey in supervised relation classification and discuss the role and current status of large language models (LLMs) in relation extraction.
• Abstract（参考訳）: 大規模言語モデルでは、非構造化原文から構造化データへの変換を通じて情報抽出において関係抽出(RE)が重要な役割を果たしている(Wadhwa et al , 2023)。 本稿では,変圧器なしの深層教師あり学習手法と変圧器付き学習方法とを系統的に比較する。 我々はPA-LSTM(Zhang et al , 2017), C-GCN(Zhang et al , 2018), AGGCN(アテンションガイドGCN)(Guo et al , 2019),BERT,RoBERTa,R-BERT(Wu and He, 2019)などのトランスフォーマーアーキテクチャを使用した。 比較には、マイクロF1のような従来のメトリクスに加えて、異なるシナリオの評価、異なる文の長さ、トレーニング用のデータセットの異なるパーセンテージが含まれていました。 実験はTACRED, TACREV, RE-TACREDで行った。 その結果,変圧器モデルが非変圧器モデルより優れ,マイクロF1スコアが80～90%,非変圧器モデルが64～67%であった。 さらに、教師付き関係分類における研究の旅程を概観し、関係抽出における大規模言語モデル(LLM)の役割と現状について論じる。

関連論文リスト

• Advancements in Natural Language Processing: Exploring Transformer-Based Architectures for Text Understanding [10.484788943232674]
  本稿では,BERT や GPT などのトランスフォーマーモデルの進歩を考察し,テキスト理解タスクにおける優れた性能に着目した。 その結果、GLUEやSQuADのようなベンチマークでは、高い計算コストなどの課題はあるものの、F1スコアが90%を超えている。
  論文  参考訳（メタデータ） (2025-03-26T04:45:33Z)
• Probing the limit of hydrologic predictability with the Transformer network [7.326504492614808]
  我々は、広くベンチマークされたCAMELSデータセット上で、バニラトランスフォーマーアーキテクチャがLSTMと競合しないことを示す。 Transformerの再現性のない変種はLSTMとの混合比較を得ることができ、同じKling-Gupta効率係数(KGE)を他の指標とともに生成する。 Transformerの結果は現在の最先端のものほど高くはないが、それでもいくつかの貴重な教訓が得られた。
  論文  参考訳（メタデータ） (2023-06-21T17:06:54Z)
• Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
  逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。 我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。 分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
  論文  参考訳（メタデータ） (2023-06-08T15:25:24Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence [29.442579683405913]
  Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。 TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。 本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
  論文  参考訳（メタデータ） (2021-04-19T15:32:34Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。