論文の概要: SITO: Sifting a Commercial Text-Safety API for Missed Harm and False Flags in English, Ukrainian and Surzhyk
- arxiv url: http://arxiv.org/abs/2610.27178v1
- Date: Mon, 19 Oct 2026 19:11:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.478337
- Title: SITO: Sifting a Commercial Text-Safety API for Missed Harm and False Flags in English, Ukrainian and Surzhyk
- Title（参考訳）: SITO:英語、ウクライナ語、Surzhykで失われたハームと偽のフラッグのための商用テキストセーフティAPIを構築
- Abstract要約: Tuteliq Detectは、プッシュペイメント詐欺、マネーミュール採用、ソーシャルエンジニアリング、ロマンス詐欺、ギャンブル被害、いじめの6つのカテゴリーで評価されている。
We built SITO (Synthetic Independent Text-safety benchmark with Overflagging test)
英語、ウクライナ語、ウクライナ語が混在する2,332件の合成ケースで、それぞれに有害なケースが無害なケースと一致した。
英語のテキストでは、有害なケースの84.9-94.1%、有害なケースの0.4.3%が警告された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Platforms that host young users screen messages with commercial text-safety APIs, but independent evidence on how often such systems miss harm or flag harmless text is scarce, especially outside English, and the documentation of the one studied here leaves its false-positive rate unquantified. We evaluated one such API, Tuteliq Detect as deployed under the release identifier tuteliq-detect-v5.20261011 (not the separately published v6 model), on six harm categories: authorised push-payment fraud, money-mule recruitment, social engineering, romance scams, gambling harm and bullying. We built SITO (Synthetic Independent Text-safety benchmark with Overflagging tests; sito is Ukrainian for 'sieve'), 2,332 synthetic cases in English, Ukrainian and mixed Ukrainian, with each harmful case matched by hard harmless ones: same-topic messages, minimal-edit contrasts, warnings and retrospective accounts. On English text the system flagged 84.9-94.1% of harmful cases and 0-4.3% of harmless ones per category. It missed third-party reports of ongoing harm far more often than perpetrators' messages (63.6% against 95.1% recall, all languages), when sent without the settings the API offers for reports of harm. Ukrainian and mixed-language input was detected at least as often as English, recall was lower on text from a held-out generator family, so headline recall may be optimistic, and 3.2% of cases received a different decision in repeated runs. A platform should measure false positives on its own traffic and check how bystander reports are handled. The datasets, generation prompts and code are released.
- Abstract（参考訳）: 若者をホストするプラットフォームは、商用のテキストセーフティAPIでメッセージをスクリーンするが、そのようなシステムが有害なテキストをいかに頻繁に見逃すかという独立した証拠は、特に英語以外では乏しい。
このようなAPIであるTuteliq Detectは、リリース識別子 tuteliq-detect-v5.20261011(別々に公開されたv6モデルではない)の下で、プッシュペイメント詐欺、マネーミュール採用、ソーシャルエンジニアリング、ロマンス詐欺、ギャンブル害、いじめの6つの有害カテゴリで評価した。
SITO(Synthetic Independent Text-safety benchmark with Overflagging test; sito is Ukrainian for 'sieve'; sito is Ukrainian")を構築した。
英語のテキストでは、有害なケースの84.9-94.1%、有害なケースの0.4.3%が警告された。
攻撃者のメッセージ(95.1%のリコール、すべての言語に対して63.6%)よりもはるかに頻繁に進行中の被害に関する第三者の報告を見逃した。
ウクライナ語と混在言語の入力は少なくとも英語と同じ頻度で検出され、保留中のジェネレータファミリーのテキストではリコールが低かったため、見出しリコールは楽観的であり、3.2%の患者は繰り返し実行で異なる決定を受けた。
プラットフォームは、自身のトラフィックにおける偽陽性を測定し、傍観者レポートがどのように扱われているかをチェックする必要がある。
データセット、生成プロンプト、コードがリリースされる。
関連論文リスト
- Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh [0.0]
AINA-KK: ChatGPT以前に存在した百科事典、ニュース、ウェブ、教育ページからの3,811件の人文パス。
我々は、カザフスタン製のKazLLMやSherkalaを含む9つのジェネレータから、5,597個の機械とグレーゾーンの通路をAINA-KKで提示する。
論文 参考訳（メタデータ） (2026-10-11T19:43:24Z) - Beyond Benchmarks: Exposing the Hidden Crisis in Bangla Hate Speech Detection [3.6609212521250227]
ソーシャルメディアプラットフォーム上でのヘイトスピーチは、オンラインの安全と倫理的モデレーションに大きな懸念をもたらす。
本研究は,ベンチマーク学習モデルが暗黙的かつ文脈依存型HSを識別できない理由と原因を診断することにより,バングラHS検出システムの危機を明らかにすることを目的とした。
絵文字認識前処理は暗黙のHS検出を最大12%向上させたが、絵文字除去は顕著な性能低下を引き起こした。
論文 参考訳（メタデータ） (2026-07-13T14:19:16Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects [6.107850985025956]
本稿では,50の英語方言における偽情報検出のための最初のベンチマークであるDIA-HARMを提案する。
人間による方言の含有量は1.4-3.6%減少し、一方でAI生成された内容は安定している。
私たちはDIA-HARMフレームワーク、D3コーパス、評価ツールをリリースします。
論文 参考訳（メタデータ） (2026-04-07T01:43:48Z) - IndicJR: A Judge-Free Benchmark of Jailbreak Robustness in South Asian Languages [0.6978180153516672]
大きな言語モデル(LLM)の安全性アライメントは、主に英語とコントラクトバウンドで評価され、多言語脆弱性が調査されている。
我々は,12のIndic言語と南アジアの言語を対象とした,敵対的安全性の判定自由ベンチマークであるtextbfIndic Jailbreak Robustness (IJR)を紹介した。
論文 参考訳（メタデータ） (2026-02-18T19:54:23Z) - Synthetic Voices, Real Threats: Evaluating Large Text-to-Speech Models in Generating Harmful Audio [63.18443674004945]
この研究は、TSシステムを利用して有害なコンテンツを含む音声を生成する、コンテンツ中心の脅威を探究する。
HARMGENは、これらの課題に対処する2つのファミリーにまとめられた5つの攻撃群である。
論文 参考訳（メタデータ） (2025-11-14T03:00:04Z) - Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models [50.89022445197919]
我々は、オープンソースのオーディオLMMが有害な音声質問に対して平均69.14%の攻撃成功率を被っていることを示す。
Gemini-1.5-Proの音声固有のジェイルブレイクは、有害なクエリベンチマークで70.67%の攻撃成功率を達成した。
論文 参考訳（メタデータ） (2024-10-31T12:11:17Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z) - Overview of Abusive and Threatening Language Detection in Urdu at FIRE
2021 [50.591267188664666]
我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。
本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。
両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
論文 参考訳（メタデータ） (2022-07-14T07:38:13Z) - Hostility Detection and Covid-19 Fake News Detection in Social Media [1.3499391168620467]
我々は,Hindi BERTとHindi FastTextモデルを用いて,乱用言語検出と特徴抽出を併用したモデルを構築した。
また、英語のツイートでCovid-19に関連する偽ニュースを識別するためのモデルを構築しています。
論文 参考訳（メタデータ） (2021-01-15T03:24:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。