論文の概要: Collaborative Evaluation of Deepfake Text with Deliberation-Enhancing Dialogue Systems
- arxiv url: http://arxiv.org/abs/2503.04945v1
- Date: Thu, 06 Mar 2025 20:19:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-10 12:23:55.352740
- Title: Collaborative Evaluation of Deepfake Text with Deliberation-Enhancing Dialogue Systems
- Title（参考訳）: Deliberation-Enhancingダイアログシステムを用いたディープフェイクテキストの協調評価
- Authors: Jooyoung Lee, Xiaochen Zhu, Georgi Karadzhov, Tom Stafford, Andreas Vlachos, Dongwon Lee,
- Abstract要約: グループベースの問題解決は、機械生成項を識別する精度を大幅に向上させる。
DeepFakeDeLiBotは、エンゲージメントの向上、コンセンサス構築、推論に基づく発話の頻度と多様性を促進する。
- 参考スコア（独自算出の注目度）: 17.224157762949158
- License:
- Abstract: The proliferation of generative models has presented significant challenges in distinguishing authentic human-authored content from deepfake content. Collaborative human efforts, augmented by AI tools, present a promising solution. In this study, we explore the potential of DeepFakeDeLiBot, a deliberation-enhancing chatbot, to support groups in detecting deepfake text. Our findings reveal that group-based problem-solving significantly improves the accuracy of identifying machine-generated paragraphs compared to individual efforts. While engagement with DeepFakeDeLiBot does not yield substantial performance gains overall, it enhances group dynamics by fostering greater participant engagement, consensus building, and the frequency and diversity of reasoning-based utterances. Additionally, participants with higher perceived effectiveness of group collaboration exhibited performance benefits from DeepFakeDeLiBot. These findings underscore the potential of deliberative chatbots in fostering interactive and productive group dynamics while ensuring accuracy in collaborative deepfake text detection. \textit{Dataset and source code used in this study will be made publicly available upon acceptance of the manuscript.
- Abstract（参考訳）: 生成モデルの普及は、真正な人間によるコンテンツとディープフェイクコンテンツとを区別する上で大きな課題となっている。
AIツールによって強化された共同作業は、有望なソリューションを提供する。
本研究では,DeepFakeDeLiBot(DeepFakeDeLiBot)の可能性を探り,グループによるディープフェイクテキストの検出を支援する。
その結果,グループベースの問題解決は,個別の取り組みと比較して,機械生成項の同定精度を著しく向上させることがわかった。
DeepFakeDeLiBotとのエンゲージメントは全体として大きなパフォーマンス向上をもたらすものではないが、より大きなエンゲージメント、コンセンサス構築、推論に基づく発話の頻度と多様性を促進することによって、グループのダイナミクスを向上させる。
さらに、グループコラボレーションの有効性が高いと認識された参加者は、DeepFakeDeLiBotのパフォーマンス上のメリットを示しました。
これらの知見は,協調的なディープフェイクテキスト検出の精度を確保しつつ,対話的で生産的なグループダイナミクスを育成する上で,議論的なチャットボットの可能性を明らかにするものである。
この研究で使用される \textit{Dataset とソースコードは、原稿の受理時に公開される。
関連論文リスト
- Leveraging Mixture of Experts for Improved Speech Deepfake Detection [53.69740463004446]
スピーチのディープフェイクは、個人のセキュリティとコンテンツの信頼性に重大な脅威をもたらす。
本研究では,Mixture of Expertsアーキテクチャを用いた音声深度検出性能の向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-24T13:24:03Z) - RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。
本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
論文 参考訳（メタデータ） (2023-11-28T14:55:52Z) - Self-Convinced Prompting: Few-Shot Question Answering with Repeated
Introspection [13.608076739368949]
本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。
我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
論文 参考訳（メタデータ） (2023-10-08T06:36:26Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳（メタデータ） (2023-08-14T15:13:04Z) - Does Human Collaboration Enhance the Accuracy of Identifying
LLM-Generated Deepfake Texts? [27.700129124128747]
人間同士のコラボレーションは、ディープフェイクテキストの検出を改善する可能性がある。
ディープフェイクテキストの最も強い指標は、一貫性と一貫性の欠如である。
論文 参考訳（メタデータ） (2023-04-03T14:06:47Z) - Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries
Through Blinded Reviewers and Text Classification Algorithms [0.8339831319589133]
OpenAIが開発したChatGPTは、言語モデルのファミリに最近追加されたものだ。
自動メトリクスと視覚障害者による抽象要約におけるChatGPTの性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:28:33Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - Paraphrase Detection: Human vs. Machine Content [3.8768839735240737]
人間が書いたパラフレーズは、難易度、多様性、類似性の点で機械生成のパラフレーズを超えている。
トランスフォーマーは、意味的に多様なコーパスに優れたTF-IDFを持つデータセット間で最も効果的な方法として登場した。
論文 参考訳（メタデータ） (2023-03-24T13:25:46Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - Deepfake Text Detection: Limitations and Opportunities [4.283184763765838]
トランスフォーマーベースのツールを用いた4つのオンラインサービスからディープフェイクテキストを収集し,野生のコンテンツに対する防衛の一般化能力を評価する。
我々は、いくつかの低コストの敵攻撃を開発し、適応攻撃に対する既存の防御の堅牢性について検討する。
本評価は,テキスト内容のセマンティック情報へのタップが,ディープフェイクテキスト検出方式の堅牢性と一般化性能を向上させるための有望なアプローチであることを示す。
論文 参考訳（メタデータ） (2022-10-17T20:40:14Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳（メタデータ） (2020-04-11T12:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。