論文の概要: AK_QMUL at ArGuard Shared Tasks: A Single Fine-Tuned JAIS for Arabic Harmful-Prompt Detection
- arxiv url: http://arxiv.org/abs/2610.36360v1
- Date: Mon, 26 Oct 2026 22:25:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.206339
- Title: AK_QMUL at ArGuard Shared Tasks: A Single Fine-Tuned JAIS for Arabic Harmful-Prompt Detection
- Title(参考訳): AK_QMUL at ArGuard Shared Tasks: A Single Fine-Tuned JAIS for Arabic Harmful-Prompt Detection
- Abstract要約: 我々はAK_QMULのArGuard-2026への提出をアラビア語の有害なプロンプト検出に関する共有タスクとして提示する。
JAIS-6.7B は4ビット QLoRA で微調整され、最終候補は線形分類ヘッドである。
B1では、モデルは6つの方言全てで正確であり、その予測された安全でない速度は真の速度を密に追跡する。
- 参考スコア(独自算出の注目度): 9.866690791407464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present AK_QMUL's submissions to the ArGuard-2026 shared tasks on Arabic harmful-prompt detection: a binary safe/unsafe task (B1) and a seven-way harm-domain task (B2). Both submissions use one backbone -- JAIS-6.7B fine-tuned with 4-bit QLoRA and a linear classification head over its last-token representation. For B1 we train a four-way head that factors the label by dialect register {safe, unsafe} x {MSA, other}, we augment the training fold with MSA prompts from AraSafe, and decode with a plain argmax to score safe/unsafe. For B2 we fine-tune the same backbone as a seven-way classifier and average the softmax outputs of five random seeds. Both submissions ranked first on their track, with macro-F1 0.984 on B1 and 0.790 on B2. We report results by dialect and by class: on B1 the model is accurate across all six dialects (93.6--99.8%) and its predicted unsafe rate tracks the true rate closely; on B2 six of the seven classes reach F1 between 0.73 and 0.98, with the residual error concentrated in the Bully class, which overlaps semantically with harassment and harm-to-others.
- Abstract(参考訳): 本稿では、AK_QMULがArGuard-2026に提案した、アラビアの有害プロンプト検出タスクについて、バイナリセーフ/アンセーフタスク(B1)と7ウェイハーモドメインタスク(B2)を提示する。
JAIS-6.7B は4ビット QLoRA で微調整され、最終候補は線形分類ヘッドである。
B1 では、ラベルを弁別レジスタ {safe, unsafe} x {MSA, other} で決定する4方向ヘッドをトレーニングし、AraSafe からの MSA プロンプトでトレーニングを拡大し、平易な argmax でデコードしてセーフ/アンセーフをスコアします。
B2では、7方向分類器と同じバックボーンを微調整し、5つのランダムシードのソフトマックス出力を平均化する。
B1ではマクロF1 0.984、B2では0.790である。
B1では、モデルが6つの方言(93.6--99.8%)全てで正確であり、その予測された安全でない率は、真の速度を密に追跡している。
関連論文リスト
- REGLAT at ArGuard Shared Tasks: An Ensemble-Based Model Integrating NER for Harmful Content Detection in Arabic [0.0]
本稿では,アラビア語のユーザプロンプトを有害コンテンツの7つのカテゴリに分類するための2段階的アプローチを提案する。
まず、GLiNERは各プロンプトから害に関連するエンティティを抽出するために使用される。
抽出されたエンティティは元のテキストに追加され、最終分類のために微調整されたMARBERT分類器に渡される。
論文 参考訳(メタデータ) (2026-10-27T13:59:11Z) - Manacá-1B-Instruct-2: Reproducible Safety Alignment for a Native Brazilian-Portuguese LLM. Negative DPO Results, a Controlled Composition Scan, and a Silent Failure Mode of the LLM Judge [0.0]
マナック1B(PT-BRのスクラッチからトレーニングした1.72Bパラメータ)の2世代後アライメントを291,223例のSFTコーパスを用いて提示した。
安全性は専用の安全SFT (LLM-jp Answer style) から得られ, 3回にわたって改良され, 安全ハーフネスフロンティアは閉鎖された。
論文 参考訳(メタデータ) (2026-10-14T17:53:46Z) - ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts [9.56406413179697]
ArGuardは、アラビアのミームとLLMプロンプトにおける有害なコンテンツ検出の共有タスクである。
計58チームが登録され、35人が最終評価に参加し、27人がシステム記述書を提出した。
最も優れたシステムはA1で0.823点、A2で0.419点、B1で0.984点、B2で0.790点である。
論文 参考訳(メタデータ) (2026-09-24T10:22:59Z) - ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification [1.4665143197624044]
そこで本研究では,6種類のアラビア種を対象とする人為的アラビア安全データセット25,071件について紹介する。
データセットには、方言ラベルと7つのきめ細かい調和カテゴリが注釈付けされている。
教師付きおよび生成モデル7つをベンチマークした結果、微調整されたMARBERTv2が最も高い性能が得られることがわかった。
論文 参考訳(メタデータ) (2026-08-02T15:00:58Z) - Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。
LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か?
277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
論文 参考訳(メタデータ) (2026-04-15T14:10:58Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳(メタデータ) (2025-05-23T08:13:59Z) - Overview of Abusive and Threatening Language Detection in Urdu at FIRE
2021 [50.591267188664666]
我々は、ウルドゥー語に対する虐待と脅しの2つの共通タスクを提示する。
本研究では, (i) 乱用と非乱用というラベル付きツイートを含む手動注釈付きデータセットと, (ii) 脅威と非脅威の2つを提示する。
両方のサブタスクに対して、m-Bertベースのトランスモデルは最高の性能を示した。
論文 参考訳(メタデータ) (2022-07-14T07:38:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。