論文の概要: EMMM, Explain Me My Model! Explainable Machine Generated Text Detection in Dialogues
- arxiv url: http://arxiv.org/abs/2508.18715v1
- Date: Tue, 26 Aug 2025 06:27:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-27 17:42:38.702209
- Title: EMMM, Explain Me My Model! Explainable Machine Generated Text Detection in Dialogues
- Title（参考訳）: EMMM, Explain Me My Model!
- Authors: Angela Yifei Yuan, Haoyi Li, Soyeon Caren Han, Christopher Leckie,
- Abstract要約: 現在の機械生成テキスト(MGT)検出手法は、オンライン会話環境において困難である。
通常、オペレータが非専門家のユーザであるカスタマサービスシナリオでは、信頼性の高いMGT検出には説明が不可欠である。
本稿では,待ち時間,正確性,非専門家指向の解釈可能性のバランスをとるための,説明題検出フレームワークEMMMを提案する。
- 参考スコア（独自算出の注目度）: 18.279628627710107
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid adoption of large language models (LLMs) in customer service introduces new risks, as malicious actors can exploit them to conduct large-scale user impersonation through machine-generated text (MGT). Current MGT detection methods often struggle in online conversational settings, reducing the reliability and interpretability essential for trustworthy AI deployment. In customer service scenarios where operators are typically non-expert users, explanation become crucial for trustworthy MGT detection. In this paper, we propose EMMM, an explanation-then-detection framework that balances latency, accuracy, and non-expert-oriented interpretability. Experimental results demonstrate that EMMM provides explanations accessible to non-expert users, with 70\% of human evaluators preferring its outputs, while achieving competitive accuracy compared to state-of-the-art models and maintaining low latency, generating outputs within 1 second. Our code and dataset are open-sourced at https://github.com/AngieYYF/EMMM-explainable-chatbot-detection.
- Abstract（参考訳）: 顧客サービスにおける大規模言語モデル(LLM)の急速な採用は、悪意あるアクターがマシン生成テキスト(MGT)を通じて大規模なユーザ偽造を行うためにそれらを活用することによって、新たなリスクをもたらす。
現在のMGT検出方法は、しばしばオンラインの会話設定で苦労し、信頼できるAIデプロイメントに必要な信頼性と解釈可能性を減らす。
通常、オペレータが非専門家のユーザであるカスタマサービスシナリオでは、信頼性の高いMGT検出には説明が不可欠である。
本稿では,待ち時間,正確性,非専門家指向の解釈可能性のバランスをとるための説明文検出フレームワークEMMMを提案する。
実験結果から,EMMMは非エキスパートユーザに対して,70パーセントの人間評価者がアウトプットを好みながら,最先端モデルと比較して競争精度を向上し,低レイテンシを維持し,出力を1秒以内で生成する,という説明が得られた。
私たちのコードとデータセットはhttps://github.com/AngieYYF/EMMM-explainable-chatbot-detectionでオープンソース化されています。
関連論文リスト
- IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。
IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
論文 参考訳（メタデータ） (2026-02-26T07:21:02Z) - Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。
MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。
本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
論文 参考訳（メタデータ） (2026-02-08T16:06:12Z) - From Transcripts to AI Agents: Knowledge Extraction, RAG Integration, and Robust Evaluation of Conversational AI Assistants [0.0]
顧客向け産業向けの信頼できる会話AIアシスタントの構築は、ノイズの多い会話データ、断片化された知識、正確なヒューマンハンドオフの必要性により、依然として困難である。
本稿では,履歴書から直接対話型AIアシスタントを構築し,評価するためのエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-26T07:44:47Z) - Can Large Multimodal Models Actively Recognize Faulty Inputs? A Systematic Evaluation Framework of Their Input Scrutiny Ability [10.607081850023286]
ISEval(Input Scrutiny Ability Evaluation Framework)は,7つの欠陥のある前提と3つの評価指標を含む。
ほとんどのモデルは、ガイダンスなしで欠陥のあるテキストの前提を積極的に検出するのに苦労している。
これらの知見は、LMMの入力妥当性の積極的な検証を強化する緊急の必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-08-06T02:13:46Z) - Stress-testing Machine Generated Text Detection: Shifting Language Models Writing Style to Fool Detectors [4.7713095161046555]
本稿では,最新のMGT検出器の言語情報による敵攻撃に対するレジリエンスをテストするパイプラインを提案する。
我々は、MGTスタイルを人文テキスト(HWT)にシフトするために、言語モデルを微調整する。
これは検出器が構造的な手がかりに頼っていることを悪用し、新しい世代を検知することがより困難になる。
論文 参考訳（メタデータ） (2025-05-30T12:33:30Z) - MAD-Sherlock: Multi-Agent Debate for Visual Misinformation Detection [36.12673167913763]
文外誤情報検出のためのマルチエージェント討論システムMAD-Sherlockを紹介する。
MAD-Sherlockは、オンラインで見られる多様で矛盾する会話を反映して、マルチエージェントの議論として検出する。
我々のフレームワークはドメインと時間に依存しず、微調整は必要ありませんが、詳細な説明で最先端の精度を実現しています。
論文 参考訳（メタデータ） (2024-10-26T10:34:22Z) - Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
我々は,GPT-4が生成したコミットメッセージと,人間の専門家が編集したコミットメッセージからなる57対のデータセットを収集した。
以上の結果から,編集距離が最も高い相関性を示すのに対し,BLEUやMETEORなどの類似度は低い相関性を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z) - LLM-DetectAIve: a Tool for Fine-Grained Machine-Generated Text Detection [87.43727192273772]
テキストが人間の書いたものなのか、機械で作られたものなのかを判断するのは、しばしば困難である。
細粒度検出のためのLLM-DetectAIveを提案する。
i) 人書き、ii) 機械生成、(iii) 機械書、次いで機械書、(iv) 人書き、そして機械ポリッシュの4つのカテゴリをサポートする。
論文 参考訳（メタデータ） (2024-08-08T07:43:17Z) - F-LMM: Grounding Frozen Large Multimodal Models [53.8059045627934]
我々は,人間とAIの会話において,F-LMM(F-LMM)を解凍したLMMを提示する。
単語と画素の対応が視覚的接地によって誘導されるという事実は、十分に訓練されたLMMの注意機構に本質的に存在するという事実に基づいている。
表現セグメンテーションと単視的物語グラウンドベンチマークの競合性能を実現する。
論文 参考訳（メタデータ） (2024-06-09T15:14:26Z) - M4GT-Bench: Evaluation Benchmark for Black-Box Machine-Generated Text Detection [69.41274756177336]
大規模言語モデル (LLMs) は様々なチャネルにまたがる機械生成テキスト (MGT) を前例のない急激な増加をもたらした。
このことは、その潜在的な誤用と社会的意味に関する正当な懸念を提起する。
本稿では,MGT-M4GT-Benchの多言語,マルチドメイン,マルチジェネレータコーパスに基づく新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2024-02-17T02:50:33Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳（メタデータ） (2023-08-14T17:17:21Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳（メタデータ） (2023-03-26T21:12:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。