論文の概要: Evaluating Language Models on Grooming Risk Estimation Using Fuzzy Theory
- arxiv url: http://arxiv.org/abs/2502.12563v1
- Date: Tue, 18 Feb 2025 05:59:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 20:12:08.820004
- Title: Evaluating Language Models on Grooming Risk Estimation Using Fuzzy Theory
- Title（参考訳）: ファジィ理論を用いたグミリングリスク推定における言語モデルの評価
- Authors: Geetanjali Bihani, Tatiana Ringenberg, Julia Rayz,
- Abstract要約: 本稿では,SBERTが会話に固有のグルーミングリスクを効果的に識別できるかどうかを検討する。
分析の結果,微調整は学習における言語モデルによる手入れスコアの割り当てを支援するが,予測のばらつきは高いことがわかった。
これらの誤りは、(1)間接的な音声経路を用いて被害者を操り、(2)性的に露骨な内容が欠如している場合に現れる。
- 参考スコア（独自算出の注目度）: 4.997673761305337
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Encoding implicit language presents a challenge for language models, especially in high-risk domains where maintaining high precision is important. Automated detection of online child grooming is one such critical domain, where predators manipulate victims using a combination of explicit and implicit language to convey harmful intentions. While recent studies have shown the potential of Transformer language models like SBERT for preemptive grooming detection, they primarily depend on surface-level features and approximate real victim grooming processes using vigilante and law enforcement conversations. The question of whether these features and approximations are reasonable has not been addressed thus far. In this paper, we address this gap and study whether SBERT can effectively discern varying degrees of grooming risk inherent in conversations, and evaluate its results across different participant groups. Our analysis reveals that while fine-tuning aids language models in learning to assign grooming scores, they show high variance in predictions, especially for contexts containing higher degrees of grooming risk. These errors appear in cases that 1) utilize indirect speech pathways to manipulate victims and 2) lack sexually explicit content. This finding underscores the necessity for robust modeling of indirect speech acts by language models, particularly those employed by predators.
- Abstract（参考訳）: 暗黙的な言語を符号化することは、特に高い精度を維持することが重要であるハイリスク領域において、言語モデルにとって課題となる。
オンライン子育ての自動検出は、捕食者が有害な意図を伝えるために、明示的な言語と暗黙的な言語を組み合わせて被害者を操る重要な領域である。
近年の研究では、SBERTのようなトランスフォーマー言語モデルによるプリエンプティブなグルーミング検出の可能性を示しているが、それらは主に表面的な特徴と、自警団と法執行機関の会話を使った実際の犠牲者グルーミングプロセスに依存している。
これらの特徴と近似が妥当かどうかという問題は、今のところ解決されていない。
本稿では、このギャップに対処し、SBERTが会話に固有の多様なグルーミングリスクを効果的に識別できるかどうかを検証し、その結果を参加者グループ毎に評価する。
分析の結果, 微調整は, 学習における言語モデルによるグルーミングスコアの割り当てを支援するが, 高いグルーミングリスクを含む文脈において, 予測のばらつきが高いことがわかった。
これらの誤りは、その場合に現れる
1)被害者の操作に間接的な音声経路を利用する
2)性的な内容の欠如。
この発見は、言語モデル、特に捕食者による間接的発話行動の堅牢なモデリングの必要性を浮き彫りにする。
関連論文リスト
- Selective Demonstration Retrieval for Improved Implicit Hate Speech Detection [4.438698005789677]
ヘイトスピーチ検出は、自然言語処理において重要な研究領域であり、オンラインコミュニティの安全確保に不可欠である。
明示的なヘイトスピーチとは異なり、暗黙の表現は文脈、文化的な微妙さ、隠れた偏見に依存することが多い。
大規模言語モデルは、しばしば有害な言語に対する感受性を高め、脆弱なグループへの参照を示し、誤分類につながる可能性がある。
モデル微調整を必要とせず,文脈内学習を利用した新しい手法を提案する。
論文 参考訳（メタデータ） (2025-04-16T13:43:23Z) - A Fuzzy Evaluation of Sentence Encoders on Grooming Risk Classification [5.616884466478886]
子どもたちは、オンライン環境におけるグルーミングのリスクに対して、ますます脆弱になりつつある。
捕食者は間接的および符号化された言語による検出を避ける。
これまでの研究では、チャット会話におけるグルーミングを自動的に識別するために、微調整されたトランスフォーマーが用いられてきた。
論文 参考訳（メタデータ） (2025-02-18T06:26:46Z) - How does a Language-Specific Tokenizer affect LLMs? [0.36248657646376703]
言語固有のトークン化器の必要性は、効果的な自然言語処理にとって直感的に重要である。
本研究では、言語固有のトークン化剤が、主に英語のテキストデータを用いて訓練された大規模言語モデルの振る舞いにどのように影響するかを考察する。
論文 参考訳（メタデータ） (2025-02-18T05:54:56Z) - Evaluating language models as risk scores [23.779329697527054]
質問応答 LLM を用いてリスクスコアを生成するソフトウェアパッケージである folktexts を紹介する。
提案した5つのベンチマークタスクにまたがって17の最近のLCMを評価した。
複数選択質問応答によるゼロショットリスクスコアは高い予測信号を持つが、広く誤校正されている。
論文 参考訳（メタデータ） (2024-07-19T18:13:37Z) - Towards Probing Speech-Specific Risks in Large Multimodal Models: A Taxonomy, Benchmark, and Insights [50.89022445197919]
本研究は,8つのリスクカテゴリーを敵意(悪意的皮肉と脅し),悪意的模倣(年齢,性別,民族),ステレオタイプ的バイアス(年齢,性別,民族)を対象とする音声特異的リスク分類法を提案する。
分類に基づいて,これらのリスクのカテゴリを検出するために,現在のLMM能力を評価するための小規模データセットを作成する。
論文 参考訳（メタデータ） (2024-06-25T10:08:45Z) - DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。
6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
論文 参考訳（メタデータ） (2024-03-01T05:28:06Z) - Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。
しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。
本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文 参考訳（メタデータ） (2023-11-14T18:59:15Z) - An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。
逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
論文 参考訳（メタデータ） (2023-11-13T17:01:12Z) - Vicinal Risk Minimization for Few-Shot Cross-lingual Transfer in Abusive
Language Detection [19.399281609371258]
高リソースから中低リソース言語への言語間変換学習は、励みのよい結果を示している。
我々は、言語間乱用言語検出を改善するために、ドメイン適応のためのデータ拡張と継続事前学習を利用する。
論文 参考訳（メタデータ） (2023-11-03T16:51:07Z) - Shapley Head Pruning: Identifying and Removing Interference in
Multilingual Transformers [54.4919139401528]
言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。
固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
論文 参考訳（メタデータ） (2022-10-11T18:11:37Z) - Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。
提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。
本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
論文 参考訳（メタデータ） (2022-05-14T11:47:58Z) - Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。
ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文 参考訳（メタデータ） (2020-02-09T19:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。