論文の概要: An Evaluation of LLMs for Detecting Harmful Computing Terms

• arxiv url: http://arxiv.org/abs/2503.09341v1
• Date: Wed, 12 Mar 2025 12:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:35:32.806882
• Title: An Evaluation of LLMs for Detecting Harmful Computing Terms
• Title（参考訳）: 有害な計算用語検出のためのLLMの評価
• Authors: Joshua Jacas, Hana Winchester, Alicia Boyd, Brittany Johnson,
• Abstract要約: 本研究では, モデルアーキテクチャが有害な言語検出に与える影響を, 専門用語のキュレートされたデータベースの評価により検討する。 我々は、BERT-base-uncased、RoBERTa large-mnli、Gemini Flash 1.5および2.0、GPT-4、Claude AI Sonnet 3.5、T5-large、BART-large-mnliを含む、エンコーダ、デコーダ、エンコーダ-デコーダ言語モデルをテストした。 その結果、デコーダモデル、特にGemini Flash 2.0とClaude AIは、微妙な文脈分析に優れており、BERTのようなエンコーダモデルは強力なパターン認識を示すが、分類の確実性に苦慮していることがわかった。
• 参考スコア（独自算出の注目度）: 6.387263468033964
• License:
• Abstract: Detecting harmful and non-inclusive terminology in technical contexts is critical for fostering inclusive environments in computing. This study explores the impact of model architecture on harmful language detection by evaluating a curated database of technical terms, each paired with specific use cases. We tested a range of encoder, decoder, and encoder-decoder language models, including BERT-base-uncased, RoBERTa large-mnli, Gemini Flash 1.5 and 2.0, GPT-4, Claude AI Sonnet 3.5, T5-large, and BART-large-mnli. Each model was presented with a standardized prompt to identify harmful and non-inclusive language across 64 terms. Results reveal that decoder models, particularly Gemini Flash 2.0 and Claude AI, excel in nuanced contextual analysis, while encoder models like BERT exhibit strong pattern recognition but struggle with classification certainty. We discuss the implications of these findings for improving automated detection tools and highlight model-specific strengths and limitations in fostering inclusive communication in technical domains.
• Abstract（参考訳）: 技術的文脈における有害かつ非包括的用語の検出は、コンピュータにおける包括的環境の育成に不可欠である。 本研究では, モデルアーキテクチャが有害な言語検出に与える影響を, 特定のユースケースと組み合わせた, 専門用語のキュレートされたデータベースの評価により検討する。 我々は、BERT-base-uncased、RoBERTa large-mnli、Gemini Flash 1.5および2.0、GPT-4、Claude AI Sonnet 3.5、T5-large、BART-large-mnliを含む、エンコーダ、デコーダ、エンコーダ-デコーダ言語モデルをテストした。 各モデルは、64の用語で有害で非包括的な言語を特定するための標準化されたプロンプトが提示された。 その結果、デコーダモデル、特にGemini Flash 2.0とClaude AIは、微妙な文脈分析に優れており、BERTのようなエンコーダモデルは強力なパターン認識を示すが、分類の確実性に苦慮していることがわかった。 本稿では,これらの発見が自動検出ツールの改善にもたらす意味を論じ,技術領域における包括的コミュニケーションの促進におけるモデル固有の強みと限界を強調した。

関連論文リスト

• Enhancing and Exploring Mild Cognitive Impairment Detection with W2V-BERT-2.0 [1.3988930016464454]
  本研究では、TAUKADIALクロスランガルデータセットを用いて、軽度認知障害(MCI)を検出するための多言語音声自己教師学習モデルについて検討する。 これらの課題に対処するために,W2V-BERT-2.0を用いた発話から直接特徴を利用する。 この実験は競争力のある結果を示し、提案した推論ロジックはベースラインの改善に大きく貢献する。
  論文  参考訳（メタデータ） (2025-01-27T16:55:38Z)
• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。 従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• CableInspect-AD: An Expert-Annotated Anomaly Detection Dataset [14.246172794156987]
  $textitCableInspect-AD$は、カナダの公共ユーティリティであるHydro-Qu'ebecのドメインエキスパートによって作成、注釈付けされた高品質なデータセットである。 このデータセットには、現実世界の異常に挑戦する高解像度の画像が含まれており、さまざまな重度レベルの欠陥をカバーしている。 モデルの性能を評価するために,クロスバリデーションに基づく包括的評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2024-09-30T14:50:13Z)
• Interpreting Outliers in Time Series Data through Decoding Autoencoder [2.156170153103442]
  本研究は、ドイツの自動車供給産業における時系列データの製造に焦点をあてる。 我々はオートエンコーダを用いて時系列全体を圧縮し,その潜在特徴に異常検出技術を適用する。
  論文  参考訳（メタデータ） (2024-09-03T08:52:21Z)
• Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
  AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。 近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。 我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
  論文  参考訳（メタデータ） (2024-06-13T08:37:01Z)
• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• HuntGPT: Integrating Machine Learning-Based Anomaly Detection and Explainable AI with Large Language Models (LLMs) [0.09208007322096533]
  我々はランダムフォレスト分類器を応用した特殊な侵入検知ダッシュボードであるHuntGPTを提案する。 この論文は、Certified Information Security Manager (CISM) Practice Examsを通じて評価された、システムのアーキテクチャ、コンポーネント、技術的正確性について論じている。 その結果、LLMによってサポートされ、XAIと統合された会話エージェントは、侵入検出において堅牢で説明可能な、実行可能なAIソリューションを提供することを示した。
  論文  参考訳（メタデータ） (2023-09-27T20:58:13Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Software Vulnerability Detection via Deep Learning over Disaggregated Code Graph Representation [57.92972327649165]
  この研究は、コードコーパスから安全でないパターンを自動的に学習するためのディープラーニングアプローチを探求する。 コードには解析を伴うグラフ構造が自然に認められるため,プログラムの意味的文脈と構造的規則性の両方を利用する新しいグラフニューラルネットワーク(GNN)を開発する。
  論文  参考訳（メタデータ） (2021-09-07T21:24:36Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。