論文の概要: Adam-Smith at SemEval-2023 Task 4: Discovering Human Values in Arguments
with Ensembles of Transformer-based Models
- arxiv url: http://arxiv.org/abs/2305.08625v1
- Date: Mon, 15 May 2023 13:20:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 14:34:50.867899
- Title: Adam-Smith at SemEval-2023 Task 4: Discovering Human Values in Arguments
with Ensembles of Transformer-based Models
- Title(参考訳): adam-smith at semeval-2023 task 4: discovering human value in arguments with ensembles of transformer-based models (英語)
- Authors: Daniel Schroter, Daryna Dementieva, and Georg Groh
- Abstract要約: 本稿では,SemEval-2023 タスク 4 における "Adam Smith" の最も優れた手法として,"Identification of Human Values behind Arguments" を提案する。
タスクの目標は、テキスト引数内の値を自動的に識別するシステムを作ることだった。
- 参考スコア(独自算出の注目度): 1.9833664312284154
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper presents the best-performing approach alias "Adam Smith" for the
SemEval-2023 Task 4: "Identification of Human Values behind Arguments". The
goal of the task was to create systems that automatically identify the values
within textual arguments. We train transformer-based models until they reach
their loss minimum or f1-score maximum. Ensembling the models by selecting one
global decision threshold that maximizes the f1-score leads to the
best-performing system in the competition. Ensembling based on stacking with
logistic regressions shows the best performance on an additional dataset
provided to evaluate the robustness ("Nahj al-Balagha"). Apart from outlining
the submitted system, we demonstrate that the use of the large ensemble model
is not necessary and that the system size can be significantly reduced.
- Abstract(参考訳): 本稿では,SemEval-2023 Task 4: "Identification of Human Values behind Arguments"において,最も優れたアプローチであるAdam Smithを提案する。
タスクの目標は、テキスト引数内の値を自動的に識別するシステムを作ることだった。
我々は、損失最小値またはf1スコアの最大値に到達するまでトランスフォーマーベースのモデルを訓練する。
f1スコアを最大化する1つのグローバル決定しきい値を選択してモデルを組み立てると、競争における最高のパフォーマンスシステムとなる。
ロジスティック回帰による積み重ねに基づく組み立ては、ロバスト性を評価するために提供される追加データセット上で最高のパフォーマンスを示す("Nahj al-Balagha")。
提案システムの概要は別として,大規模なアンサンブルモデルの使用は不要であり,システムサイズを大幅に削減できることを示す。
関連論文リスト
- Target Variable Engineering [0.0]
数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。
回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
論文 参考訳(メタデータ) (2023-10-13T23:12:21Z) - Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。
両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。
転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
論文 参考訳(メタデータ) (2023-10-10T10:48:52Z) - Model-Based Simulation for Optimising Smart Reply [3.615981646205045]
スマートリプライ(SR)システムは、応答をタイプする代わりに選択できる一連のリプライをユーザに提示する。
これまでの研究は、反応の集合を明示的に学習するのではなく、主にポストホック化に重点を置いてきた。
そこで本研究では,モデルに基づくシミュレーションを用いて高値応答集合を探索する新しい手法SimSRを提案する。
論文 参考訳(メタデータ) (2023-05-26T12:04:33Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳(メタデータ) (2023-04-19T14:58:27Z) - uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。
我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。
我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
論文 参考訳(メタデータ) (2022-05-23T20:20:27Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by
Pre-trained Language Model [18.41476971318978]
本稿では,SemEval-2020 Task 10: Emphasis Selection for Written Text in Visual Mediaにおいて,ERNIE Teamによって設計されたシステムについて述べる。
教師なし事前学習モデルを活用し、これらのモデルをタスクで微調整します。
我々の最良のモデルは0.823の最高スコアを達成し、あらゆる種類の指標で第1位となる。
論文 参考訳(メタデータ) (2020-09-08T12:51:22Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳(メタデータ) (2020-07-14T03:49:43Z) - Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation [77.62366712130196]
マルチドメイン MetaLWOz データセットに微調整した GPT-2 に基づくハイブリッド生成・検索モデル DSTC8 の高速領域適応タスクにおける入賞条件について述べる。
提案モデルでは,MetaLWOz上の解析論理をフォールバックとして使用し,人間の評価におけるSoTA(第2位システムよりも4%向上)と,未知のMultiWOZデータセットに適応した競合一般化性能を実現する。
論文 参考訳(メタデータ) (2020-03-03T18:07:42Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。