論文の概要: Closing the Loop: Testing ChatGPT to Generate Model Explanations to
Improve Human Labelling of Sponsored Content on Social Media
- arxiv url: http://arxiv.org/abs/2306.05115v1
- Date: Thu, 8 Jun 2023 11:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 14:46:54.784649
- Title: Closing the Loop: Testing ChatGPT to Generate Model Explanations to
Improve Human Labelling of Sponsored Content on Social Media
- Title(参考訳): chatgptは、ソーシャルメディア上のスポンサーコンテンツの人間ラベル付けを改善するためのモデル説明を生成する
- Authors: Thales Bertaglia, Stefan Huber, Catalina Goanta, Gerasimos Spanakis,
Adriana Iamnitchi
- Abstract要約: 世界中の規制団体は、ソーシャルメディア上のインフルエンサーマーケティングの透明性を確保するための努力を強化している。
スポンサーコンテンツを自動的に検出するタスクは、このような規制を大規模に監視し、実施することを目的としている。
本稿では,tagGPTを用いてアノテーションプロセスを拡張し,関連する特徴や簡潔な説明文として認識するフレーズを提案する。
- 参考スコア(独自算出の注目度): 4.322339935902437
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Regulatory bodies worldwide are intensifying their efforts to ensure
transparency in influencer marketing on social media through instruments like
the Unfair Commercial Practices Directive (UCPD) in the European Union, or
Section 5 of the Federal Trade Commission Act. Yet enforcing these obligations
has proven to be highly problematic due to the sheer scale of the influencer
market. The task of automatically detecting sponsored content aims to enable
the monitoring and enforcement of such regulations at scale. Current research
in this field primarily frames this problem as a machine learning task,
focusing on developing models that achieve high classification performance in
detecting ads. These machine learning tasks rely on human data annotation to
provide ground truth information. However, agreement between annotators is
often low, leading to inconsistent labels that hinder the reliability of
models. To improve annotation accuracy and, thus, the detection of sponsored
content, we propose using chatGPT to augment the annotation process with
phrases identified as relevant features and brief explanations. Our experiments
show that this approach consistently improves inter-annotator agreement and
annotation accuracy. Additionally, our survey of user experience in the
annotation task indicates that the explanations improve the annotators'
confidence and streamline the process. Our proposed methods can ultimately lead
to more transparency and alignment with regulatory requirements in sponsored
content detection.
- Abstract(参考訳): 世界中の規制機関は、欧州連合の不公正商業慣行指令(UCPD)や連邦取引委員会法第5節を通じて、インフルエンサーのソーシャルメディアへのマーケティングの透明性を確保する努力を強化している。
しかし、インフルエンサー市場の急激な規模のため、こうした義務を強制することは極めて問題視されている。
スポンサードコンテンツを自動的に検出するタスクは、大規模な規制の監視と実施を可能にすることを目的としている。
この分野での現在の研究は、主にこの問題を機械学習タスクとして、広告の検出において高い分類性能を達成するモデルの開発に焦点をあてている。
これらの機械学習タスクは、真理情報を提供するために人間のデータアノテーションに依存している。
しかし、アノテータ間の合意はしばしば低く、モデルの信頼性を妨げる一貫性のないラベルに繋がる。
アノテーションの精度を向上し,かつ,スポンサー付きコンテンツの検出を行うため,アノテーションプロセスの拡張にchatGPTを用い,関連する特徴や簡潔な説明文として認識したフレーズを付加する手法を提案する。
このアプローチはアノテーション間の合意とアノテーションの正確性が一貫して向上することを示す。
さらに,アノテーションタスクにおけるユーザエクスペリエンスの調査から,アノテーションの信頼性の向上とプロセスの合理化が示唆された。
提案手法により,スポンサードコンテンツ検出における規制要件の透明性と整合性が向上する。
関連論文リスト
- Learning Contrastive Feature Representations for Facial Action Unit
Detection [7.365839694761861]
教師付き信号と自己教師型信号の両方によって強化されたコントラスト学習フレームワークを導入する。
目的は,従来の画素レベルの学習パラダイムから逸脱した識別的特徴の獲得である。
各AUタイプの不均衡分布を軽減するため、少数AUに適した重み付け戦略を採用する。
論文 参考訳(メタデータ) (2024-02-09T03:48:20Z) - Automated Claim Matching with Large Language Models: Empowering
Fact-Checkers in the Fight Against Misinformation [11.323961700172175]
FACT-GPTは、大規模言語モデルを用いたファクトチェックのクレームマッチングフェーズを自動化するために設計されたフレームワークである。
このフレームワークは、ファクトチェッカーによって以前否定された主張を支持したり、否定したりする新しいソーシャルメディアコンテンツを識別する。
FACT-GPTを公衆衛生に関連するソーシャルメディアコンテンツのデータセットとして評価した。
論文 参考訳(メタデータ) (2023-10-13T16:21:07Z) - Fair-CDA: Continuous and Directional Augmentation for Group Fairness [48.84385689186208]
公正な制約を課すための詳細なデータ拡張戦略を提案する。
グループ間の感性のある特徴の遷移経路のモデルを正規化することにより、グループフェアネスを実現することができることを示す。
提案手法はデータ生成モデルを仮定せず,精度と公平性の両方に優れた一般化を実現する。
論文 参考訳(メタデータ) (2023-04-01T11:23:00Z) - Consistency is Key: Disentangling Label Variation in Natural Language
Processing with Intra-Annotator Agreement [27.02826389254995]
我々は,ラベルの安定性を経時的に測定するために,アノテーション内合意の付加的利用を論じる。
これらの尺度の計算は、重要な品質管理として機能し、アノテータが反対する理由に関する洞察を与えることができる。
論文 参考訳(メタデータ) (2023-01-25T16:38:11Z) - ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。
意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。
本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
論文 参考訳(メタデータ) (2022-11-10T08:41:40Z) - Measuring Fairness Under Unawareness of Sensitive Attributes: A
Quantification-Based Approach [131.20444904674494]
センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。
定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
論文 参考訳(メタデータ) (2021-09-17T13:45:46Z) - FLAVA: Find, Localize, Adjust and Verify to Annotate LiDAR-Based Point
Clouds [93.3595555830426]
アノテーションプロセスにおけるヒューマンインタラクションを最小化するための体系的アプローチであるFLAVAを提案する。
具体的には、アノテーションパイプラインを、検索、ローカライズ、調整、検証の4つの部分に分割します。
また,本システムでは,実験結果を伝搬する軽量で効果的な機構を導入することにより,インタラクションの量を大幅に削減する。
論文 参考訳(メタデータ) (2020-11-20T02:22:36Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳(メタデータ) (2020-11-15T17:26:14Z) - Improving Classification through Weak Supervision in Context-specific
Conversational Agent Development for Teacher Education [1.215785021723604]
教育シナリオ固有の会話エージェントを開発するのに必要な労力は、時間を要する。
アノテーションをモデリングするための従来のアプローチは、何千もの例をラベル付けし、アノテーション間の合意と多数決を計算することに依存してきた。
本稿では,これらの問題に対処するために,多タスク弱監視手法とアクティブラーニングを組み合わせた手法を提案する。
論文 参考訳(メタデータ) (2020-10-23T23:39:40Z) - Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。
本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
論文 参考訳(メタデータ) (2020-06-09T20:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。