Fugu-MT 論文翻訳(概要): Extraction multi-étiquettes de relations en utilisant des couches de Transformer

論文の概要: Extraction multi-étiquettes de relations en utilisant des couches de Transformer

arxiv url: http://arxiv.org/abs/2502.15619v1
Date: Fri, 21 Feb 2025 17:42:51 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-24 16:11:04.294765
Title: Extraction multi-étiquettes de relations en utilisant des couches de Transformer
Title（参考訳）: 変圧器のカウチ利用における多面的関係の抽出
Authors: Ngoc Luyen Le, Gildas Tagny Ngompé,
Abstract要約: 本稿では,BTransformer18モデルを提案する。提案手法は,事前学習した言語モデルの文脈表現能力とTransformerエンコーダのパワーを組み合わせる。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: In this article, we present the BTransformer18 model, a deep learning architecture designed for multi-label relation extraction in French texts. Our approach combines the contextual representation capabilities of pre-trained language models from the BERT family - such as BERT, RoBERTa, and their French counterparts CamemBERT and FlauBERT - with the power of Transformer encoders to capture long-term dependencies between tokens. Experiments conducted on the dataset from the TextMine'25 challenge show that our model achieves superior performance, particularly when using CamemBERT-Large, with a macro F1 score of 0.654, surpassing the results obtained with FlauBERT-Large. These results demonstrate the effectiveness of our approach for the automatic extraction of complex relations in intelligence reports.
Abstract（参考訳）: 本稿では,フランス語テキストにおける多ラベル関係抽出のためのディープラーニングアーキテクチャであるBTransformer18について述べる。我々のアプローチは、BERTやRoBERTa、フランスのCamemBERTやFrauBERTといったBERTファミリーの事前訓練済み言語モデルのコンテキスト表現能力と、トークン間の長期的な依存関係をキャプチャするTransformerエンコーダの能力を組み合わせる。 TextMine'25 チャレンジのデータセットを用いて行った実験の結果,特に CamemBERT-Large を用いた場合,マクロ F1 スコアが 0.654 であり,FrauBERT-Large で得られた結果を上回った。これらの結果は,情報報告における複雑な関係を自動的に抽出する手法の有効性を示すものである。

関連論文リスト

Evaluating Named Entity Recognition: A comparative analysis of mono- and multilingual transformer models on a novel Brazilian corporate earnings call transcripts dataset [3.809702129519642]
ブラジルポルトガル語で事前訓練された2つのモデル (BERTimbau と PTT5) と2つの多言語モデル (mBERT と mT5) を同定する。本研究では,ファイナンシャル・ネームド・エンティティ・認識(NER)タスク上での性能評価を行い,微調整と推論のための計算条件を決定することを目的とした。
論文参考訳（メタデータ） (2024-03-18T19:53:56Z)
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文参考訳（メタデータ） (2022-12-01T17:31:42Z)
BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives [0.0]
BERTは、大きな言語モデルで伝達学習を可能にすることで、NLP分野に革命をもたらした。本稿では、BERT出力層が提供する異なる埋め込みと、多言語モデルの代わりに言語固有の使用について、よりよく対処する方法について研究する。
論文参考訳（メタデータ） (2022-01-10T15:05:05Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
Learning Compact Metrics for MT [21.408684470261342]
最先端多言語モデルであるRemBERTを用いて,多言語性とモデルキャパシティのトレードオフについて検討する。モデルのサイズが実際に言語間移動のボトルネックであることを示し、蒸留がこのボトルネックにどのように対処できるかを示す。提案手法は,バニラ微調整よりも最大10.5%向上し,パラメータの3分の1しか使用せず,RemBERTの性能の92.6%に達する。
論文参考訳（メタデータ） (2021-10-12T20:39:35Z)
FBERT: A Neural Transformer for Identifying Offensive Content [67.12838911384024]
fBERTは、SOLIDで再訓練されたBERTモデルである。複数の英文データセット上での攻撃的内容の同定におけるfBERTの性能を評価し、SOLIDからインスタンスを選択するためのしきい値をテストする。 fBERTモデルは、コミュニティで自由に利用できるようになる。
論文参考訳（メタデータ） (2021-09-10T19:19:26Z)
Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。 PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。 GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
論文参考訳（メタデータ） (2021-04-12T21:24:02Z)
MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering [68.40719618351429]
視覚質問応答(VQA)を解決するためのMMFT-BERT (MultiModal Fusion Transformer with BERT encodings)を提案する。提案手法は,BERTエンコーディングを個別に採用したマルチモーダルデータを処理し,新しいトランスフォーマーベースの融合法を用いて融合する。
論文参考訳（メタデータ） (2020-10-27T06:34:14Z)
BET: A Backtranslation Approach for Easy Data Augmentation in Transformer-based Paraphrase Identification Context [0.0]
我々はこの手法をBETと呼び、トランスフォーマーベースのアーキテクチャ上でのバックトランスレーションデータ拡張を分析する。以上の結果から,BETはMicrosoft Research Paraphrase Corpusのパラフレーズ識別性能を,精度とF1スコアの両方で3%以上向上することが示唆された。
論文参考訳（メタデータ） (2020-09-25T22:06:06Z)
Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models [56.268862325167575]
本稿では、列列列構造と事前学習言語モデル(PLM)を用いた会話型質問修正(CQR)の実証的研究について述べる。我々はPLMを利用して、CQRタスクの目的である最大推定におけるトークン・トークン・トークン・トークンの独立性の強い仮定に対処する。我々は、最近導入されたCANARDデータセットの微調整PLMをドメイン内タスクとして評価し、TREC 2019 CAsT Trackのデータからドメイン外タスクとしてモデルを検証する。
論文参考訳（メタデータ） (2020-04-04T11:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。