論文の概要: Investigating User Radicalization: A Novel Dataset for Identifying
Fine-Grained Temporal Shifts in Opinion
- arxiv url: http://arxiv.org/abs/2204.10190v1
- Date: Sat, 16 Apr 2022 09:31:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-24 15:29:31.535820
- Title: Investigating User Radicalization: A Novel Dataset for Identifying
Fine-Grained Temporal Shifts in Opinion
- Title(参考訳): ユーザラジカル化の調査: 意見の微粒化時間変化を識別するための新しいデータセット
- Authors: Flora Sakketou, Allison Lahnala, Liane Vogel, Lucie Flek
- Abstract要約: 本稿では,微妙な意見揺らぎをモデル化し,微粒な姿勢を検出するための,革新的な注釈付きデータセットを提案する。
データセットには、時間とともに、および会話スレッド全体で、十分な量のスタンスポラリティとユーザ毎の強度ラベルが含まれている。
すべての投稿は非専門家によって注釈付けされ、データの大部分は専門家によって注釈付けされている。
- 参考スコア(独自算出の注目度): 7.028604573959653
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: There is an increasing need for the ability to model fine-grained opinion
shifts of social media users, as concerns about the potential polarizing social
effects increase. However, the lack of publicly available datasets that are
suitable for the task presents a major challenge. In this paper, we introduce
an innovative annotated dataset for modeling subtle opinion fluctuations and
detecting fine-grained stances. The dataset includes a sufficient amount of
stance polarity and intensity labels per user over time and within entire
conversational threads, thus making subtle opinion fluctuations detectable both
in long term and in short term. All posts are annotated by non-experts and a
significant portion of the data is also annotated by experts. We provide a
strategy for recruiting suitable non-experts. Our analysis of the
inter-annotator agreements shows that the resulting annotations obtained from
the majority vote of the non-experts are of comparable quality to the
annotations of the experts. We provide analyses of the stance evolution in
short term and long term levels, a comparison of language usage between users
with vacillating and resolute attitudes, and fine-grained stance detection
baselines.
- Abstract(参考訳): ソーシャルメディア利用者の微妙な意見変化をモデル化する能力の必要性が高まっている。
しかし、タスクに適した公開データセットがないことが大きな課題となっている。
本稿では,微妙な意見変動をモデル化し,きめ細かい姿勢を検出するための,革新的な注釈付きデータセットを提案する。
データセットは、時間的および会話スレッド全体で、ユーザ毎の十分なスタンスポラリティと強度ラベルを含むため、長期と短期の両方で微妙な意見変動を検出することができる。
すべての投稿は非専門家によって注釈付けされ、データの大部分は専門家によって注釈付けされる。
適切な非専門家を募集するための戦略を提供する。
アノテーション間契約の分析により,非専門家の多数決で得られたアノテーションは,専門家のアノテーションと同等の品質を有することが示された。
本研究では,短期・長期レベルでの姿勢変化の分析,空想的態度と絶対的態度によるユーザ間の言語使用状況の比較,微粒な姿勢検出ベースラインについて述べる。
関連論文リスト
- Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳(メタデータ) (2024-07-19T14:53:18Z) - Geospatial Disparities: A Case Study on Real Estate Prices in Paris [0.3495246564946556]
地理空間データから生じるバイアスを識別・緩和するためのツールキットを提案する。
空間的属性を持つ順序回帰ケースを2次分類の焦点から逸脱する。
本手法を概説し,本手法の実践的応用を実証し,公正度と校正対策のための地理的集約レベルを選択することの意味を精査する。
論文 参考訳(メタデータ) (2024-01-29T14:53:14Z) - When a Language Question Is at Stake. A Revisited Approach to Label
Sensitive Content [0.0]
記事では、ロシアとウクライナの戦争を取り上げたウクライナのツイートの例について、疑似ラベル付き機密データのアプローチを再検討する。
得られたデータを統計的に解析し、擬似ラベリングに使用するモデルの評価を行い、さらにそのコーパスの活用方法についてのガイドラインを定めている。
論文 参考訳(メタデータ) (2023-11-17T13:35:10Z) - Annotation Error Detection: Analyzing the Past and Present for a More
Coherent Future [63.99570204416711]
我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。
アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。
私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
論文 参考訳(メタデータ) (2022-06-05T22:31:45Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - Are You Smarter Than a Random Expert? The Robust Aggregation of
Substitutable Signals [14.03122229316614]
本稿では,幅広い情報構造から専門家の知識を逆選択する文脈において,予測集約の研究を開始する。
投射的代替条件の下では、専門家の予測の平均値を取得することは、ランダムな専門家を信頼する戦略によって大幅に改善される。
本研究では, 専門家の予測を平均化し, 一定の要因によって前者から遠ざかることで平均を極端に推し進めることにより, 集積器の性能保証は, 事前の知識がなくても実現可能であることを示す。
論文 参考訳(メタデータ) (2021-11-04T20:50:30Z) - Perceptual Score: What Data Modalities Does Your Model Perceive? [73.75255606437808]
モデルが入力特徴の異なる部分集合に依存する度合いを評価する指標である知覚スコアを導入する。
近年,視覚的質問応答に対するマルチモーダルモデルでは,前者よりも視覚的データを知覚しにくい傾向がみられた。
知覚スコアを使用することで、スコアをデータサブセットのコントリビューションに分解することで、モデルのバイアスを分析することもできる。
論文 参考訳(メタデータ) (2021-10-27T12:19:56Z) - On Releasing Annotator-Level Labels and Information in Datasets [6.546195629698355]
ラベルアグリゲーションは,個人的視点とグループ的視点の表現バイアスをもたらす可能性があることを示す。
下流のユースケースに対するデータセットの有用性と透明性を高めるための推奨事項を提案する。
論文 参考訳(メタデータ) (2021-10-12T02:35:45Z) - Agreeing to Disagree: Annotating Offensive Language Datasets with
Annotators' Disagreement [7.288480094345606]
我々は、アノテータ間の合意のレベルに着目し、攻撃的な言語データセットを作成するためにデータを選択する。
本研究は、異なるトピックをカバーする英語ツイートの3つの新しいデータセットを作成することを含む。
合意の低さがあるような難しいケースは、必ずしも品質の悪いアノテーションによるものではないことを示す。
論文 参考訳(メタデータ) (2021-09-28T08:55:04Z) - Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。
同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。
我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
論文 参考訳(メタデータ) (2021-06-15T20:55:55Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳(メタデータ) (2021-04-17T21:34:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。