論文の概要: Evaluating Language Models on Grooming Risk Estimation Using Fuzzy Theory

• arxiv url: http://arxiv.org/abs/2502.12563v1
• Date: Tue, 18 Feb 2025 05:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:09:24.613514
• Title: Evaluating Language Models on Grooming Risk Estimation Using Fuzzy Theory
• Title（参考訳）: ファジィ理論を用いたグミリングリスク推定における言語モデルの評価
• Authors: Geetanjali Bihani, Tatiana Ringenberg, Julia Rayz,
• Abstract要約: 本稿では,SBERTが会話に固有のグルーミングリスクを効果的に識別できるかどうかを検討する。 分析の結果,微調整は学習における言語モデルによる手入れスコアの割り当てを支援するが,予測のばらつきは高いことがわかった。 これらの誤りは、(1)間接的な音声経路を用いて被害者を操り、(2)性的に露骨な内容が欠如している場合に現れる。
• 参考スコア（独自算出の注目度）: 4.997673761305337
• License:
• Abstract: Encoding implicit language presents a challenge for language models, especially in high-risk domains where maintaining high precision is important. Automated detection of online child grooming is one such critical domain, where predators manipulate victims using a combination of explicit and implicit language to convey harmful intentions. While recent studies have shown the potential of Transformer language models like SBERT for preemptive grooming detection, they primarily depend on surface-level features and approximate real victim grooming processes using vigilante and law enforcement conversations. The question of whether these features and approximations are reasonable has not been addressed thus far. In this paper, we address this gap and study whether SBERT can effectively discern varying degrees of grooming risk inherent in conversations, and evaluate its results across different participant groups. Our analysis reveals that while fine-tuning aids language models in learning to assign grooming scores, they show high variance in predictions, especially for contexts containing higher degrees of grooming risk. These errors appear in cases that 1) utilize indirect speech pathways to manipulate victims and 2) lack sexually explicit content. This finding underscores the necessity for robust modeling of indirect speech acts by language models, particularly those employed by predators.
• Abstract（参考訳）: 暗黙的な言語を符号化することは、特に高い精度を維持することが重要であるハイリスク領域において、言語モデルにとって課題となる。 オンライン子育ての自動検出は、捕食者が有害な意図を伝えるために、明示的な言語と暗黙的な言語を組み合わせて被害者を操る重要な領域である。 近年の研究では、SBERTのようなトランスフォーマー言語モデルによるプリエンプティブなグルーミング検出の可能性を示しているが、それらは主に表面的な特徴と、自警団と法執行機関の会話を使った実際の犠牲者グルーミングプロセスに依存している。 これらの特徴と近似が妥当かどうかという問題は、今のところ解決されていない。 本稿では、このギャップに対処し、SBERTが会話に固有の多様なグルーミングリスクを効果的に識別できるかどうかを検証し、その結果を参加者グループ毎に評価する。 分析の結果, 微調整は, 学習における言語モデルによるグルーミングスコアの割り当てを支援するが, 高いグルーミングリスクを含む文脈において, 予測のばらつきが高いことがわかった。 これらの誤りは、その場合に現れる 1)被害者の操作に間接的な音声経路を利用する 2)性的な内容の欠如。 この発見は、言語モデル、特に捕食者による間接的発話行動の堅牢なモデリングの必要性を浮き彫りにする。

関連論文リスト

• Towards Probing Speech-Specific Risks in Large Multimodal Models: A Taxonomy, Benchmark, and Insights [50.89022445197919]
  本研究は,8つのリスクカテゴリーを敵意(悪意的皮肉と脅し),悪意的模倣(年齢,性別,民族),ステレオタイプ的バイアス(年齢,性別,民族)を対象とする音声特異的リスク分類法を提案する。 分類に基づいて,これらのリスクのカテゴリを検出するために,現在のLMM能力を評価するための小規模データセットを作成する。
  論文  参考訳（メタデータ） (2024-06-25T10:08:45Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Vicinal Risk Minimization for Few-Shot Cross-lingual Transfer in Abusive Language Detection [19.399281609371258]
  高リソースから中低リソース言語への言語間変換学習は、励みのよい結果を示している。 我々は、言語間乱用言語検出を改善するために、ドメイン適応のためのデータ拡張と継続事前学習を利用する。
  論文  参考訳（メタデータ） (2023-11-03T16:51:07Z)
• What do Large Language Models Learn beyond Language? [10.9650651784511]
  事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。 実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。 その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
  論文  参考訳（メタデータ） (2022-10-21T23:43:13Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。