論文の概要: Closing the Loop: Testing ChatGPT to Generate Model Explanations to Improve Human Labelling of Sponsored Content on Social Media

• arxiv url: http://arxiv.org/abs/2306.05115v1
• Date: Thu, 8 Jun 2023 11:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 14:46:54.784649
• Title: Closing the Loop: Testing ChatGPT to Generate Model Explanations to Improve Human Labelling of Sponsored Content on Social Media
• Title（参考訳）: chatgptは、ソーシャルメディア上のスポンサーコンテンツの人間ラベル付けを改善するためのモデル説明を生成する
• Authors: Thales Bertaglia, Stefan Huber, Catalina Goanta, Gerasimos Spanakis, Adriana Iamnitchi
• Abstract要約: 世界中の規制団体は、ソーシャルメディア上のインフルエンサーマーケティングの透明性を確保するための努力を強化している。 スポンサーコンテンツを自動的に検出するタスクは、このような規制を大規模に監視し、実施することを目的としている。 本稿では,tagGPTを用いてアノテーションプロセスを拡張し,関連する特徴や簡潔な説明文として認識するフレーズを提案する。
• 参考スコア（独自算出の注目度）: 4.322339935902437
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regulatory bodies worldwide are intensifying their efforts to ensure transparency in influencer marketing on social media through instruments like the Unfair Commercial Practices Directive (UCPD) in the European Union, or Section 5 of the Federal Trade Commission Act. Yet enforcing these obligations has proven to be highly problematic due to the sheer scale of the influencer market. The task of automatically detecting sponsored content aims to enable the monitoring and enforcement of such regulations at scale. Current research in this field primarily frames this problem as a machine learning task, focusing on developing models that achieve high classification performance in detecting ads. These machine learning tasks rely on human data annotation to provide ground truth information. However, agreement between annotators is often low, leading to inconsistent labels that hinder the reliability of models. To improve annotation accuracy and, thus, the detection of sponsored content, we propose using chatGPT to augment the annotation process with phrases identified as relevant features and brief explanations. Our experiments show that this approach consistently improves inter-annotator agreement and annotation accuracy. Additionally, our survey of user experience in the annotation task indicates that the explanations improve the annotators' confidence and streamline the process. Our proposed methods can ultimately lead to more transparency and alignment with regulatory requirements in sponsored content detection.
• Abstract（参考訳）: 世界中の規制機関は、欧州連合の不公正商業慣行指令(UCPD)や連邦取引委員会法第5節を通じて、インフルエンサーのソーシャルメディアへのマーケティングの透明性を確保する努力を強化している。 しかし、インフルエンサー市場の急激な規模のため、こうした義務を強制することは極めて問題視されている。 スポンサードコンテンツを自動的に検出するタスクは、大規模な規制の監視と実施を可能にすることを目的としている。 この分野での現在の研究は、主にこの問題を機械学習タスクとして、広告の検出において高い分類性能を達成するモデルの開発に焦点をあてている。 これらの機械学習タスクは、真理情報を提供するために人間のデータアノテーションに依存している。 しかし、アノテータ間の合意はしばしば低く、モデルの信頼性を妨げる一貫性のないラベルに繋がる。 アノテーションの精度を向上し,かつ,スポンサー付きコンテンツの検出を行うため,アノテーションプロセスの拡張にchatGPTを用い,関連する特徴や簡潔な説明文として認識したフレーズを付加する手法を提案する。 このアプローチはアノテーション間の合意とアノテーションの正確性が一貫して向上することを示す。 さらに,アノテーションタスクにおけるユーザエクスペリエンスの調査から,アノテーションの信頼性の向上とプロセスの合理化が示唆された。 提案手法により,スポンサードコンテンツ検出における規制要件の透明性と整合性が向上する。

関連論文リスト

• Evaluating Fairness in Transaction Fraud Models: Fairness Metrics, Bias Audits, and Challenges [3.499319293058353]
  アルゴリズムの公正性に関する広範な研究にもかかわらず、不正検出モデルにおけるバイアスの研究には顕著なギャップがある。 これらの課題には、不正データの不均衡の性質と不正保護とサービス品質のトレードオフを考慮に入れた公正度メトリクスの必要性が含まれる。 本稿では,公開合成データセットを用いた取引不正モデルの包括的公正性評価を行う。
  論文  参考訳（メタデータ） (2024-09-06T16:08:27Z)
• LabelAId: Just-in-time AI Interventions for Improving Human Labeling Quality and Domain Knowledge in Crowdsourcing Systems [16.546017147593044]
  本稿では,クラウドワーカー間でのラベル付け品質とドメイン固有の知識の両面を強化するために,ジャスト・イン・タイムのAI介入について検討する。 本稿では,PWS(Programmatic Weak Supervision)とFT変換器を組み合わせてラベルの正しさを推定する高度な推論モデルであるLabelAIdを紹介する。 その後、都市アクセシビリティのためのオープンソースのクラウドソーシングプラットフォームであるProject SidewalkにLabelAIdを実装しました。
  論文  参考訳（メタデータ） (2024-03-14T18:59:10Z)
• Improving Task Instructions for Data Annotators: How Clear Rules and Higher Pay Increase Performance in Data Annotation in the AI Economy [0.0]
  AIアプリケーションの世界的急増は、業界を変革させ、既存の雇用の移動と補完を招きつつ、新たな雇用機会を生み出している。 人間の作業員による画像のラベル付けやテキストの注釈付けを含むデータアノテーションは、データセットの品質に直接影響を与える。 本稿では,データアノテーションの経済性に着目し,タスク・インストラクションの設計と金銭的インセンティブがデータ品質とコストに与える影響に着目した。
  論文  参考訳（メタデータ） (2023-12-22T09:50:57Z)
• Automated Claim Matching with Large Language Models: Empowering Fact-Checkers in the Fight Against Misinformation [11.323961700172175]
  FACT-GPTは、大規模言語モデルを用いたファクトチェックのクレームマッチングフェーズを自動化するために設計されたフレームワークである。 このフレームワークは、ファクトチェッカーによって以前否定された主張を支持したり、否定したりする新しいソーシャルメディアコンテンツを識別する。 FACT-GPTを公衆衛生に関連するソーシャルメディアコンテンツのデータセットとして評価した。
  論文  参考訳（メタデータ） (2023-10-13T16:21:07Z)
• Fair-CDA: Continuous and Directional Augmentation for Group Fairness [48.84385689186208]
  公正な制約を課すための詳細なデータ拡張戦略を提案する。 グループ間の感性のある特徴の遷移経路のモデルを正規化することにより、グループフェアネスを実現することができることを示す。 提案手法はデータ生成モデルを仮定せず,精度と公平性の両方に優れた一般化を実現する。
  論文  参考訳（メタデータ） (2023-04-01T11:23:00Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• FLAVA: Find, Localize, Adjust and Verify to Annotate LiDAR-Based Point Clouds [93.3595555830426]
  アノテーションプロセスにおけるヒューマンインタラクションを最小化するための体系的アプローチであるFLAVAを提案する。 具体的には、アノテーションパイプラインを、検索、ローカライズ、調整、検証の4つの部分に分割します。 また,本システムでは,実験結果を伝搬する軽量で効果的な機構を導入することにより,インタラクションの量を大幅に削減する。
  論文  参考訳（メタデータ） (2020-11-20T02:22:36Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)
• Improving Classification through Weak Supervision in Context-specific Conversational Agent Development for Teacher Education [1.215785021723604]
  教育シナリオ固有の会話エージェントを開発するのに必要な労力は、時間を要する。 アノテーションをモデリングするための従来のアプローチは、何千もの例をラベル付けし、アノテーション間の合意と多数決を計算することに依存してきた。 本稿では,これらの問題に対処するために,多タスク弱監視手法とアクティブラーニングを組み合わせた手法を提案する。
  論文  参考訳（メタデータ） (2020-10-23T23:39:40Z)
• Foreseeing the Benefits of Incidental Supervision [83.08441990812636]
  本稿では,実験を行なわずに,特定の目標タスクに対して,様々な種類の偶発信号の利点を定量化できるかどうかを考察する。 本稿では,PABI(PAC-Bayesian motivated informativeness measure)を提案する。
  論文  参考訳（メタデータ） (2020-06-09T20:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。