論文の概要: Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head
Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism
For Multi-Label Text Classification
- arxiv url: http://arxiv.org/abs/2307.05174v1
- Date: Tue, 11 Jul 2023 11:12:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 15:25:55.682317
- Title: Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head
Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism
For Multi-Label Text Classification
- Title（参考訳）: mao-zedong at semeval-2023 task 4: label representationion multi-head attention model with contrastive learning-enhanced nearby mechanism for multi-label text classification
- Authors: Che Zhang and Ping'an Liu and Zhenyang Xiao and Haojun Fei
- Abstract要約: SemEval 2023 Task 4citekiesel:2023は、引数のセットと、各引数に暗黙的に表現される20種類の人間の値を提供する。
特定のラベルとセマンティックコンポーネント間の接続を確立するためのマルチヘッドアテンション機構を提案する。
テストセットではF1スコアが0.533で,リーダボードでは4位にランクインした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The study of human values is essential in both practical and theoretical
domains. With the development of computational linguistics, the creation of
large-scale datasets has made it possible to automatically recognize human
values accurately. SemEval 2023 Task 4\cite{kiesel:2023} provides a set of
arguments and 20 types of human values that are implicitly expressed in each
argument. In this paper, we present our team's solution. We use the
Roberta\cite{liu_roberta_2019} model to obtain the word vector encoding of the
document and propose a multi-head attention mechanism to establish connections
between specific labels and semantic components. Furthermore, we use a
contrastive learning-enhanced K-nearest neighbor
mechanism\cite{su_contrastive_2022} to leverage existing instance information
for prediction. Our approach achieved an F1 score of 0.533 on the test set and
ranked fourth on the leaderboard.
- Abstract（参考訳）: 人的価値の研究は実用領域と理論領域の両方において不可欠である。
計算言語学の発展により、大規模なデータセットの作成により、人間の値を正確に認識できるようになった。
SemEval 2023 Task 4\cite{kiesel:2023} は引数のセットと、各引数で暗黙的に表現される20種類の人間の値を提供する。
本稿では,チームのソリューションについて述べる。
我々は, roberta\cite{liu_roberta_2019} モデルを用いて文書の単語ベクトル符号化を求め,特定のラベルと意味成分との接続を確立するマルチヘッドアテンション機構を提案する。
さらに,コントラスト学習エンハンスドk-nearest近傍機構\cite{su_contrastive_2022}を用いて,既存のインスタンス情報を予測に活用する。
テストセットではF1スコア0.533を獲得し,リーダーボードでは4位となった。
関連論文リスト
- Hierarchical Multi-Instance Multi-Label Learning for Detecting
Propaganda Techniques [12.483639681339767]
本稿では,記事中の全スパンを同時に分類するシンプルなRoBERTaモデルを提案する。
決定木の各ノードに補助的な分類子を追加することで階層的なラベル依存を組み込む。
我々のモデルは、クロスバリデーション設定で共有タスク勝利チームからモデルに対して2.47%のマイクロF1を絶対的に改善します。
論文 参考訳（メタデータ） (2023-05-30T21:23:19Z) - Large-Scale Text Analysis Using Generative Language Models: A Case Study
in Discovering Public Value Expressions in AI Patents [2.246222223318928]
本稿では,生成言語モデル(GPT-4)を用いて,大規模テキスト解析のためのラベルと論理式を生成する手法を提案する。
InnovationQ+に送信された高度なBooleanクエリを用いて、154,934件の特許文書からなるデータベースを収集する。
我々は、これらのAI特許文中の公開価値表現を識別し、ラベル付けするためのフレームワークを設計する。
論文 参考訳（メタデータ） (2023-05-17T17:18:26Z) - Enabling Classifiers to Make Judgements Explicitly Aligned with Human
Values [73.82043713141142]
性差別/人種差別の検出や毒性検出などの多くのNLP分類タスクは、人間の値に基づいている。
本稿では,コマンド内で明示的に記述された人間の値に基づいて予測を行う,値整合型分類のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-14T09:10:49Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - LeQua@CLEF2022: Learning to Quantify [76.22817970624875]
LeQua 2022は、テキストデータセットで'を定量化する方法を評価するための新しい実験室である。
本研究の目的は、バイナリ設定とシングルラベルのマルチクラス設定の両方において、学習方法の比較評価のための設定を提供することである。
論文 参考訳（メタデータ） (2021-11-22T14:54:20Z) - Temporal-aware Language Representation Learning From Crowdsourced Labels [12.40460861125743]
アンダーラインアンノテータを用いたアンダーラインソースラベルのための言語表現学習アルゴリズムであるemphTACMAを提案する。
この提案は、およそ5行のコードで実装するのが非常に簡単である。
その結果,本手法は予測精度とAUCにおいて,幅広い最先端のベースラインよりも優れていた。
論文 参考訳（メタデータ） (2021-07-15T05:25:56Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic
Matching [58.72111690643359]
文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。
最初にBERTを使用して、グローバルな視点から入力文をエンコードします。
次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。
関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
論文 参考訳（メタデータ） (2020-12-16T13:11:30Z) - NEMO: Frequentist Inference Approach to Constrained Linguistic Typology
Feature Prediction in SIGTYP 2020 Shared Task [83.43738174234053]
タイプ的特徴間の相関関係を表現するために頻繁な推論を用い、この表現を用いて、個々の特徴を予測する単純なマルチクラス推定器を訓練する。
テスト言語149言語に対して,マイクロ平均精度0.66を達成できた。
論文 参考訳（メタデータ） (2020-10-12T19:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。