論文の概要: APPReddit: a Corpus of Reddit Posts Annotated for Appraisal
- arxiv url: http://arxiv.org/abs/2205.15627v1
- Date: Tue, 31 May 2022 09:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 13:54:09.870243
- Title: APPReddit: a Corpus of Reddit Posts Annotated for Appraisal
- Title（参考訳）: appReddit: 評価のための注釈付きReddit投稿のコーパス
- Authors: Marco Antonio Stranisci, Simona Frenda, Eleonora Ceccaldi, Valerio
Basile, Rossana Damiano, Viviana Patti
- Abstract要約: APPRedditは、評価理論によって注釈付けされた実験外データの最初のコーパスである。
APPRedditでトレーニングされたSVMモデルは、大きな損失のない4つの評価次元を予測する。
両方のコーパスを1つのトレーニングセットにマージすると、4次元のうち3次元の予測が増加する。
- 参考スコア（独自算出の注目度）: 3.7737012079539647
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Despite the large number of computational resources for emotion recognition,
there is a lack of data sets relying on appraisal models. According to
Appraisal theories, emotions are the outcome of a multi-dimensional evaluation
of events. In this paper, we present APPReddit, the first corpus of
non-experimental data annotated according to this theory. After describing its
development, we compare our resource with enISEAR, a corpus of events created
in an experimental setting and annotated for appraisal. Results show that the
two corpora can be mapped notwithstanding different typologies of data and
annotations schemes. A SVM model trained on APPReddit predicts four appraisal
dimensions without significant loss. Merging both corpora in a single training
set increases the prediction of 3 out of 4 dimensions. Such findings pave the
way to a better performing classification model for appraisal prediction.
- Abstract（参考訳）: 感情認識のための膨大な計算資源にもかかわらず、評価モデルに依存するデータセットが不足している。
評価理論によれば、感情は事象の多次元評価の結果である。
本稿では,この理論に基づいて注釈付けされた実験データの最初のコーパスであるAPPRedditについて述べる。
その開発を説明した後、実験的な設定で作成され、評価用にアノテートされたイベントのコーパスであるenisearとリソースを比較します。
その結果,2つのコーパスは,データ型やアノテーション方式が異なるにもかかわらずマッピング可能であることがわかった。
APPRedditでトレーニングされたSVMモデルは、大きな損失のない4つの評価次元を予測する。
両方のコーパスを単一のトレーニングセットにマージすると、4次元のうち3次元の予測が増加する。
これらの結果は,評価予測のためのより良い分類モデルへの道を開いた。
関連論文リスト
- Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations [0.6526824510982799]
評価に関する文献は、実験分析と計画に関する他の科学からの文献をほとんど無視してきた。
本稿は、言語モデル評価からのデータについて、統計学のトレーニングをおこなった研究者について紹介する。
論文 参考訳（メタデータ） (2024-11-01T14:57:16Z) - Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳（メタデータ） (2024-06-26T05:30:21Z) - OpinSummEval: Revisiting Automated Evaluation for Opinion Summarization [52.720711541731205]
人間の判断と14の意見要約モデルからの出力からなるデータセットであるOpinSummEvalを提案する。
以上の結果から,ニューラルネットワークに基づく測定値が神経以外の測定値を上回っていることが示唆された。
論文 参考訳（メタデータ） (2023-10-27T13:09:54Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Incorporating Experts' Judgment into Machine Learning Models [2.5363839239628843]
場合によっては、ドメインの専門家は、機械学習モデルの予測と矛盾する可能性のある期待された結果について判断するかもしれません。
紛争を緩和するために専門家の判断を活用する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-04-24T07:32:49Z) - A Unified Evaluation of Textual Backdoor Learning: Frameworks and
Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。
また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文 参考訳（メタデータ） (2022-06-17T02:29:23Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - A framework for predicting, interpreting, and improving Learning
Outcomes [0.0]
本研究では,学生の観察的,行動的,受験的特徴に基づいて,テストスコアを予測するEmbibe Score Quotient Model(ESQ)を開発した。
ESQは、学生の将来的な採点可能性の予測や、個別の学習ナッジの提供に使用することができる。
論文 参考訳（メタデータ） (2020-10-06T11:22:27Z) - SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
総合的かつ一貫した方法で14の自動評価指標を再評価する。
上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。
我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
論文 参考訳（メタデータ） (2020-07-24T16:25:19Z) - On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link
Prediction Methods [27.27230441498167]
本稿では,知識グラフから情報を得る方法として,リンク予測とエンティティアライメント(Entity Alignment)の2つのファミリについて,より詳しく検討する。
特に、既存のスコアはすべて、異なるデータセット間で結果を比較するのにほとんど役に立たないことを実証する。
これは結果の解釈において様々な問題を引き起こしており、誤解を招く結論を裏付ける可能性がある。
論文 参考訳（メタデータ） (2020-02-17T12:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。