Fugu-MT 論文翻訳(概要): ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts

論文の概要: ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts

arxiv url: http://arxiv.org/abs/2609.29349v2
Date: Fri, 25 Sep 2026 14:21:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 18:27:51.051673
Title: ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts
Title（参考訳）: ArGuard共有タスク:アラビアのミームとLLMのプロンプトにおける有害コンテンツ検出
Abstract要約: ArGuardは、アラビアのミームとLLMプロンプトにおける有害なコンテンツ検出の共有タスクである。計58チームが登録され、35人が最終評価に参加し、27人がシステム記述書を提出した。最も優れたシステムはA1で0.823点、A2で0.419点、B1で0.984点、B2で0.790点である。
参考スコア（独自算出の注目度）: 9.56406413179697
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: ArGuard is a shared task on harmful content detection in Arabic memes and LLM prompts. It includes two tracks: Track A focuses on multimodal hate detection in Arabic memes, while Track B addresses harmful prompt detection for Arabic LLM safety evaluation. In total, 58 teams registered, 35 participated in the final evaluation, and 27 submitted system-description papers. Participating teams explored models such as AraBERT, Jais, and Qwen3-VL. The best systems achieved macro-F1 scores of 0.823 on A1, 0.419 on A2, 0.984 on B1, and 0.790 on B2. Fine-grained meme classification in A2 was the most challenging setting, partly due to sparse labels and train-test distribution shifts.
Abstract（参考訳）: ArGuardは、アラビアのミームとLLMプロンプトにおける有害なコンテンツ検出の共有タスクである。トラックAはアラビア語のミームにおけるマルチモーダルヘイト検出に焦点を当てており、トラックBはアラビア語のLLM安全性評価のための有害なプロンプト検出に対処している。計58チームが登録され、35人が最終評価に参加し、27人がシステム記述書を提出した。参加チームは、AraBERT、Jais、Qwen3-VLといったモデルを調査した。最も優れたシステムはA1で0.823点、A2で0.419点、B1で0.984点、B2で0.790点である。 A2のきめ細かいミーム分類は、スパースラベルと列車-テストの分散シフトのために、最も難しい設定であった。

関連論文リスト

AlexandriaX 2026: The First Shared Task on Dialectal Arabic Machine Translation [65.18574662565511]
アレクサンドリアX 2026 アラビア語 MT の共有タスクは、3つのサブタスクを通じて課題に対処する。 Subtask 1の最良のシステムは、制約のないトラックで30.42 spBLEU、制約のないトラックで33.49 spBLEUを達成した。その結果、明示的な方言モデリング、文脈認識生成、検索と再ランク付け、およびMT誤り解析のための特殊なアプローチの利点が浮き彫りになった。
論文参考訳（メタデータ） (2026-09-19T05:59:30Z)
Mizan: A National Benchmark for Evaluating Large Language Models on Iraqi Arabic and the Iraqi Civic Context [0.0]
イラクの大規模言語モデル(LLM)評価のための国家ベンチマークであるミザンを紹介する。三山(みざん)は、六つの軸(方言理解、方言生成、MSA-Iraqi翻訳、公式文書フィールド抽出、安全)にまたがるベースライントラックとイラクのトラックである。公開後3日でクローズドフロンティアモデルにまたがる27のシステムのパイロット評価により、4つの結果が得られた。
論文参考訳（メタデータ） (2026-09-12T14:52:16Z)
Redteaming Leading Arabic LLMs with ASAS [7.552587851046888]
大型言語モデル (LLM) をリピートする最初の完全人為的なアラビア語ベンチマークである、アラビア安全指数 (ASAS) を紹介する。 ASASには8つの安全カテゴリーと8つの攻撃戦略にまたがる801のプロンプトがあり、モダンスタンダードアラビア(MSA)の理想的な応答がある。我々は、GPT-4o、Claude 3.7 Sonnet、ALaM、FANARなどの地域モデルを含む、アラビアの能力を持つ7つの主要なモデルに対して、リピーピング評価を行う。人間のアノテータは、構造化された4ポイントの安全尺度を使用してレスポンスを評価し、ほとんどのモデルが安全でないプロンプトの50%に対して防御に失敗していることを明らかにした。
論文参考訳（メタデータ） (2026-08-22T14:34:08Z)
ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification [1.4665143197624044]
そこで本研究では,6種類のアラビア種を対象とする人為的アラビア安全データセット25,071件について紹介する。データセットには、方言ラベルと7つのきめ細かい調和カテゴリが注釈付けされている。教師付きおよび生成モデル7つをベンチマークした結果、微調整されたMARBERTv2が最も高い性能が得られることがわかった。
論文参考訳（メタデータ） (2026-08-02T15:00:58Z)
StanceNakba Shared Task: Actor and Topic-Aware Stance Detection in Public Discourse [0.6742937853471207]
StanceNakba 2026は、パレスチナとイスラエルの紛争に関連する、偏極化されたソーシャルメディアにおけるスタンス検出の共有タスクである。 Subtask A (Actor-Level Stance Detection) は、イギリスのソーシャルメディア投稿をプロパレスチナ、プロイスラエル、ニュートラルに分類する。サブタスクB (Cross-Topic Stance Detection) は、対立に関連する2つのトピックに対するアラビア語の投稿において、フェーバー、アタック、またはいずれのスタンスも識別する。
論文参考訳（メタデータ） (2026-06-10T13:32:10Z)
Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
論文参考訳（メタデータ） (2026-04-15T14:10:58Z)
SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models [6.0860786631767185]
本稿ではアラビア語モデル(ALM)の安全性を評価する統一ベンチマークであるSalamaBenchを紹介する。このベンチマークを用いて,Fanar 1,2,ALLaM 2,Falcon H1R,Jais 2の5つの最先端ALMを複数のセーフガード構成で評価した。
論文参考訳（メタデータ） (2026-02-03T12:13:42Z)
Hala Technical Report: Building Arabic-Centric Instruction & Translation Models at Scale [51.41777906371754]
私たちはHalaを紹介します。これはアラビア語中心の命令と翻訳モデルのファミリーで、私たちのトランスレーショナル・トゥン・パイプラインで構築されています。軽量言語モデル LFM2-1.2B は、このデータに基づいて微調整され、高品質の英語の命令セットをアラビア語に翻訳するために使用される。我々は、Halaモデルを350M、700M、1.2B、9Bパラメータでトレーニングし、アラビア語の特殊化とベースモデルの強度のバランスをとるためにスラープマージを適用します。
論文参考訳（メタデータ） (2025-09-17T14:19:28Z)
Arabic Dataset for LLM Safeguard Evaluation [62.96160492994489]
本研究では,アラビア語における大言語モデル(LLM)の安全性と,その言語的・文化的複雑さについて考察する。本稿では, 直接攻撃, 間接攻撃, センシティブな単語による無害な要求を含む5,799の質問からなるアラブ地域固有の安全評価データセットを提案する。
論文参考訳（メタデータ） (2024-10-22T14:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。