論文の概要: A Fuzzy Evaluation of Sentence Encoders on Grooming Risk Classification
- arxiv url: http://arxiv.org/abs/2502.12576v1
- Date: Tue, 18 Feb 2025 06:26:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 14:09:24.019700
- Title: A Fuzzy Evaluation of Sentence Encoders on Grooming Risk Classification
- Title（参考訳）: グミリングリスク分類における文エンコーダのファジィ評価
- Authors: Geetanjali Bihani, Julia Rayz,
- Abstract要約: 子どもたちは、オンライン環境におけるグルーミングのリスクに対して、ますます脆弱になりつつある。
捕食者は間接的および符号化された言語による検出を避ける。
これまでの研究では、チャット会話におけるグルーミングを自動的に識別するために、微調整されたトランスフォーマーが用いられてきた。
- 参考スコア（独自算出の注目度）: 5.616884466478886
- License:
- Abstract: With the advent of social media, children are becoming increasingly vulnerable to the risk of grooming in online settings. Detecting grooming instances in an online conversation poses a significant challenge as the interactions are not necessarily sexually explicit, since the predators take time to build trust and a relationship with their victim. Moreover, predators evade detection using indirect and coded language. While previous studies have fine-tuned Transformers to automatically identify grooming in chat conversations, they overlook the impact of coded and indirect language on model predictions, and how these align with human perceptions of grooming. In this paper, we address this gap and evaluate bi-encoders on the task of classifying different degrees of grooming risk in chat contexts, for three different participant groups, i.e. law enforcement officers, real victims, and decoys. Using a fuzzy-theoretic framework, we map human assessments of grooming behaviors to estimate the actual degree of grooming risk. Our analysis reveals that fine-tuned models fail to tag instances where the predator uses indirect speech pathways and coded language to evade detection. Further, we find that such instances are characterized by a higher presence of out-of-vocabulary (OOV) words in samples, causing the model to misclassify. Our findings highlight the need for more robust models to identify coded language from noisy chat inputs in grooming contexts.
- Abstract（参考訳）: ソーシャルメディアの出現に伴い、子どもたちはオンライン環境におけるグルーミングのリスクに対してますます脆弱になっている。
オンライン会話でインスタンスのグルーミングを検出することは、インタラクションが必ずしも性的に明確であるとは限らないため、重要な課題となる。
さらに、捕食者は間接的および符号化された言語による検出を避ける。
従来の研究では、チャット会話におけるグルーミングを自動的に識別するための微調整されたトランスフォーマーが存在したが、コード化された言語と間接言語がモデル予測に与える影響や、グルーミングに対する人間の認識とどのように一致しているかを見落としている。
本稿では、このギャップに対処し、法執行官、実際の犠牲者、デコイの3つの異なる参加者グループに対して、チャットコンテキストにおけるグルーミングリスクの異なるレベルを分類するタスクについて、バイエンコーダの評価を行う。
ファジィ理論の枠組みを用いて、グルーミング行動の人間評価をマッピングし、実際のグルーミングリスクの程度を推定する。
分析の結果,捕食者が間接音声経路と符号化言語を用いて検出を回避している場合,微調整モデルではタグ付けに失敗することが判明した。
さらに、このような例は、サンプル中のOoV(out-of-vocabulary)単語の存在が高いことが特徴であり、モデルが誤分類されることが判明した。
以上の結果から,より堅牢な言語モデルの必要性が浮き彫りなチャット入力から,より堅牢な言語を識別する必要性が示唆された。
関連論文リスト
- Evaluating Language Models on Grooming Risk Estimation Using Fuzzy Theory [4.997673761305337]
本稿では,SBERTが会話に固有のグルーミングリスクを効果的に識別できるかどうかを検討する。
分析の結果,微調整は学習における言語モデルによる手入れスコアの割り当てを支援するが,予測のばらつきは高いことがわかった。
これらの誤りは、(1)間接的な音声経路を用いて被害者を操り、(2)性的に露骨な内容が欠如している場合に現れる。
論文 参考訳（メタデータ） (2025-02-18T05:59:54Z) - Diagnosing Hate Speech Classification: Where Do Humans and Machines Disagree, and Why? [0.0]
我々は、ヘイトスピーチ分類の診断にコサイン類似度比、埋め込み回帰、手動再注釈を用いる。
女性アノテーターは黒人を標的とする人種的なスラリーに敏感である。
機械が人間のアノテータと矛盾するところの診断において、機械は人間よりもミスが少ないことがわかった。
論文 参考訳（メタデータ） (2024-10-14T04:39:45Z) - Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。
CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。
実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
論文 参考訳（メタデータ） (2023-11-16T06:27:35Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳（メタデータ） (2023-11-14T18:59:15Z) - Fine-Tuning Llama 2 Large Language Models for Detecting Online Sexual
Predatory Chats and Abusive Texts [2.406214748890827]
本稿では,Llama 2 7B-パラメーターモデルを用いて,オンライン性的捕食チャットと虐待言語の検出手法を提案する。
我々は、異なる大きさ、不均衡度、言語(英語、ローマ・ウルドゥー語、ウルドゥー語)のデータセットを用いてLLMを微調整する。
実験結果から,提案手法は3つの異なるデータセットに対して精度よく一貫した性能を示す。
論文 参考訳（メタデータ） (2023-08-28T16:18:50Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-06-23T17:59:09Z) - Understanding and Mitigating Spurious Correlations in Text
Classification with Neighborhood Analysis [69.07674653828565]
機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。
本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。
本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
論文 参考訳（メタデータ） (2023-05-23T03:55:50Z) - Hate Speech and Offensive Language Detection using an Emotion-aware
Shared Encoder [1.8734449181723825]
ヘイトスピーチと攻撃的言語検出に関する既存の研究は、事前学習されたトランスフォーマーモデルに基づいて有望な結果をもたらす。
本稿では,他コーパスから抽出した外的感情特徴を組み合わせたマルチタスク共同学習手法を提案する。
以上の結果から,感情的な知識が,データセット間のヘイトスピーチや攻撃的言語をより確実に識別する上で有効であることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:31:06Z) - Can We Automate the Analysis of Online Child Sexual Exploitation
Discourse? [18.20420363291303]
ソーシャルメディアの人気が高まり、子供のオンライン安全に関する懸念が高まっている。
オンラインの性的なグルーミングの研究は、しばしばドメインの専門家に手動でアノテートする会話を頼りにしてきた。
我々は,会話の振る舞いを検知し,専門家のアノテータを置き換える方法について検証した。
論文 参考訳（メタデータ） (2022-09-25T21:18:50Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳（メタデータ） (2020-05-12T11:01:44Z) - Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。
提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文 参考訳（メタデータ） (2020-05-01T20:01:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。