Fugu-MT 論文翻訳(概要): ARC-NLP at PAN 2023: Hierarchical Long Text Classification for Trigger Detection

論文の概要: ARC-NLP at PAN 2023: Hierarchical Long Text Classification for Trigger Detection

arxiv url: http://arxiv.org/abs/2307.14912v1
Date: Thu, 27 Jul 2023 14:55:10 GMT
ステータス: 処理完了
システム内更新日: 2023-07-28 14:12:50.466580
Title: ARC-NLP at PAN 2023: Hierarchical Long Text Classification for Trigger Detection
Title（参考訳）: PAN 2023におけるARC-NLP: トリガー検出のための階層的長文分類
Authors: Umitcan Sahin, Izzet Emre Kucukkaya, Cagri Toraman
Abstract要約: PAN CLEF 2023におけるトリガー検出共有タスクに対する提案手法について述べる。トランスフォーマーに基づく言語モデル上での繰り返しを用いた階層モデルを構築した。本モデルでは,F1マクロスコアが0.372,F1マイクロスコアが0.736となる。
参考スコア（独自算出の注目度）: 1.4824891788575418
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Fanfiction, a popular form of creative writing set within established fictional universes, has gained a substantial online following. However, ensuring the well-being and safety of participants has become a critical concern in this community. The detection of triggering content, material that may cause emotional distress or trauma to readers, poses a significant challenge. In this paper, we describe our approach for the Trigger Detection shared task at PAN CLEF 2023, where we want to detect multiple triggering content in a given Fanfiction document. For this, we build a hierarchical model that uses recurrence over Transformer-based language models. In our approach, we first split long documents into smaller sized segments and use them to fine-tune a Transformer model. Then, we extract feature embeddings from the fine-tuned Transformer model, which are used as input in the training of multiple LSTM models for trigger detection in a multi-label setting. Our model achieves an F1-macro score of 0.372 and F1-micro score of 0.736 on the validation set, which are higher than the baseline results shared at PAN CLEF 2023.
Abstract（参考訳）: fanfictionは、確立された架空の宇宙の中で人気のある創造的な文章セットであり、オンライン上でかなりの支持を得ている。しかし, このコミュニティでは, 参加者の幸福と安全の確保が重要な課題となっている。読者に感情的な苦痛やトラウマを引き起こす可能性のある素材であるトリガーコンテンツの検出は、大きな課題となる。本稿では,PAN CLEF 2023におけるトリガー検出共有タスクに対するアプローチについて述べる。そこで我々は,Transformerベースの言語モデル上での繰り返しを用いた階層モデルを構築した。提案手法では,まず,長い文書を小さなセグメントに分割し,トランスフォーマーモデルを微調整する。次に,複数のLSTMモデルの入力として,複数ラベル設定でのトリガ検出に使用される微調整トランスフォーマーモデルから特徴埋め込みを抽出する。本モデルでは, PAN CLEF 2023で共有される基準値よりも高いF1マクロスコア0.372, F1マイクロスコア0.736を達成する。

関連論文リスト

Multitask Fine-Tuning and Generative Adversarial Learning for Improved Auxiliary Classification [0.0]
3つの下流タスクをマルチタスクで微調整するための新しいBERTアーキテクチャを実装した。我々のモデルであるMultitask BERTは、レイヤ共有とトリプルトアーキテクチャ、カスタム文ペアトークン化、損失ペアリング、勾配手術を取り入れています。また、BERTに生成逆学習を適用し、潜在空間から写像して偽の埋め込みを生成する条件付きジェネレータモデルを構築した。
論文参考訳（メタデータ） (2024-08-11T20:05:54Z)
MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。 2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
論文参考訳（メタデータ） (2023-10-11T17:57:14Z)
Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文参考訳（メタデータ） (2023-07-31T10:22:33Z)
Attention over pre-trained Sentence Embeddings for Long Document Classification [4.38566347001872]
変圧器はトークンの数に2次注意の複雑さがあるため、短いシーケンスに制限されることが多い。文を意味的に意味のある埋め込みから始めるために,事前学習した文変換器を活用することを提案する。本稿では,3つの標準文書分類データセットに対して,この簡単なアーキテクチャを用いて得られた結果について報告する。
論文参考訳（メタデータ） (2023-07-18T09:06:35Z)
Feature Shrinkage Pyramid for Camouflaged Object Detection with Transformers [34.42710399235461]
視覚変換器は、最近、擬似的オブジェクト検出において、強いグローバルなコンテキストモデリング能力を示した。ローカリティモデリングの効率の低下とデコーダの機能集約の不足という2つの大きな制限に悩まされている。本研究では, 局所性向上した隣接する変圧器の特徴を階層的に復号化することを目的とした, 変圧器をベースとしたFSPNet(Feature Shrinkage Pyramid Network)を提案する。
論文参考訳（メタデータ） (2023-03-26T20:50:58Z)
Transformer-based Models for Long-Form Document Matching: Challenges and Empirical Analysis [12.269318291685753]
単純なニューラルネットワークは、より複雑なBERTベースのモデルよりも優れていることを示す。単純なモデルは、文書の長さやテキストの摂動のバリエーションに対して、より堅牢である。
論文参考訳（メタデータ） (2023-02-07T21:51:05Z)
TypeFormer: Transformers for Mobile Keystroke Biometrics [11.562974686156196]
本稿では,ユーザ認証のためにモバイルデバイス上で実行される自由テキストキーストロークダイナミクスをモデル化するトランスフォーマーアーキテクチャを提案する。 TypeFormerは、50キーストロークの5つのエンローメントセッションのみを使用して、EER(Equal Error Rate)の値が3.25%に達する現在の最先端システムよりもパフォーマンスがよい。
論文参考訳（メタデータ） (2022-12-26T10:25:06Z)
Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文参考訳（メタデータ） (2022-03-15T01:24:51Z)
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2021-10-12T22:42:31Z)
When Liebig's Barrel Meets Facial Landmark Detection: A Practical Model [87.25037167380522]
正確で、堅牢で、効率的で、一般化可能で、エンドツーエンドのトレーニングが可能なモデルを提案する。精度を向上させるために,2つの軽量モジュールを提案する。 DQInitは、インプットからデコーダのクエリを動的に初期化し、複数のデコーダ層を持つものと同じ精度でモデルを実現する。 QAMemは、共有するクエリではなく、それぞれのクエリに別々のメモリ値を割り当てることで、低解像度のフィーチャーマップ上のクエリの識別能力を高めるように設計されている。
論文参考訳（メタデータ） (2021-05-27T13:51:42Z)
Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
論文参考訳（メタデータ） (2020-06-22T03:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。