論文の概要: SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models
- arxiv url: http://arxiv.org/abs/2605.25420v1
- Date: Mon, 25 May 2026 04:45:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:19.289305
- Title: SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models
- Title（参考訳）: SomaliBench Eval: オープンウェイト言語モデルにおける英ソマリ拒絶ギャップの測定
- Abstract要約: SomaliBench v0。
4つのモデルすべてに対して、大きな英語とソマリアの拒絶ギャップが見つかる。
3つのモデルにおいて、支配的なソマリアの非拒絶モードは、有害なコンプライアンスに恵まれず、不明確な出力である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model safety evaluation remains heavily English-centered, leaving low-resource languages under-measured even when models are deployed globally. We evaluate four open-weight instruction-tuned models on SomaliBench v0, a native-author-verified benchmark of 100 harmful-intent prompts paired across English and Somali. Each of Llama-3.1-8B-Instruct, Gemma-2-9B-Instruct, Qwen-2.5-7B-Instruct, and Aya-23-8B is run locally with temperature 0 and the same English "helpful, harmless, and honest" (HHH) system prompt. A pinned Claude Sonnet snapshot (claude-sonnet-4-5-20250929) classifies each response as refused, complied, or unclear; the native author spot-checks a stratified 80-row sample. We find large English-to-Somali refusal gaps for all four models: Llama-3.1-8B (0.90; 95% bootstrap CI [0.85, 0.96]), Aya-23-8B (0.75 [0.67, 0.83]), Qwen-2.5-7B (0.69 [0.59, 0.78]), and Gemma-2-9B (0.38 [0.27, 0.49]). For three models, the dominant Somali non-refusal mode is not fluent harmful compliance but unclear output: empty, wrong-language, or incoherent generations. The native verification spot-check achieves 100% agreement with the judge (Cohen's kappa = 1.00) on the 80 sampled rows. We report aggregate refusal rates, category gaps, and reliability statistics only; raw model generations are retained locally and are not released.
- Abstract（参考訳）: 大規模な言語モデルの安全性評価は依然として英語中心であり、たとえ世界規模でモデルがデプロイされたとしても、低リソース言語は未測定のままである。
SomaliBench v0は、英語とソマリ語にまたがる100の有害インテリジェントプロンプトをネイティブに検証したベンチマークである。
Llama-3.1-8B-インストラクタ、Gemma-2-9B-インストラクタ、Qwen-2.5-7B-インストラクタ、Aya-23-8Bはそれぞれ、温度0と同じ英語の"helpful, harmless, and honest"(HHH)システムによってローカルに実行される。
ピン留めされたClaude Sonnetスナップショット(claude-sonnet-4-5-20250929)は、各レスポンスを拒否、コンプライアンス、不明と分類する。
Llama-3.1-8B (0.90; 95% bootstrap CI [0.85, 0.96])、Aya-23-8B (0.75 [0.67, 0.83])、Qwen-2.5-7B (0.69 [0.59, 0.78])、Gemma-2-9B (0.38 [0.27, 0.49]) の4モデルすべてに対する大きな英ソマリの拒絶ギャップが見つかった。
3つのモデルでは、支配的なソマリの非拒絶モードは、有害なコンプライアンスに恵まれず、不明瞭なアウトプットである:空、間違った言語、一貫性のない世代である。
ネイティブ検証スポットチェックは、80個のサンプル行に対して、審査員(コーエンのkappa = 1.00)との100%の一致を達成する。
我々は、総断率、カテゴリギャップ、信頼性統計のみを報告し、生モデル世代は局所的に保持され、リリースされない。
関連論文リスト
- Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。
9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
論文 参考訳（メタデータ） (2026-09-07T10:22:22Z) - Beyond Fluency: A Rubric-Based Benchmark for Evaluating Saudi Dialect and Cultural Competence in Large Language Models [0.37331950863394864]
サウジアラビア方言の古風なベンチマークを示す。
9カテゴリの分類で466のエラー事例を分類する。
一貫性に反するトレードオフとモデル固有のエラーシグネチャを観察する。
論文 参考訳（メタデータ） (2026-08-30T19:31:35Z) - Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs [0.0]
表面流速から4つの現象を分離する最小ペアのベンチマークであるJ-PragEval-v0を紹介する。
線形プローブと教師による対数確率評価を組み合わせて、TinySwallow-1.5B内のどのコントラストがライブであるかを問う。
論文 参考訳（メタデータ） (2026-08-14T21:04:21Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - A Comparative Study of Language Models for Khmer Retrieval-Augmented Question Answering [0.0]
Retrieval-Augmented Generation (RAG) は, 大規模言語モデル(LLM) のアウトプットを確定する上で有望なパラダイムとして出現している。
本稿では,Khmer 言語通信ドメイン文書に対する RAG に基づく質問応答システムを提案する。
論文 参考訳（メタデータ） (2026-05-21T07:36:01Z) - RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts [0.0]
厳格な拒絶率は、同じプロンプトで0.1%から94.6%である。
18のフロンティアモデルのうち9つは、バイナリーリフェールメトリクスが検出できないデュアルユース層で、ヘッジ・ブット・ヘルプ部分コンプライアンスパターンを示す。
論文 参考訳（メタデータ） (2026-05-20T09:53:31Z) - Articulate but Wrong: Self-Review Failures in LLM-Based Code Modernization [1.0164694825170502]
大きな言語モデル(LLM)エージェントは、レガシーコードを現代的なスタックに移行するのにますます使われています。
バランスの取れた60スニペットのレガシPython-2コーパス上で、7つの異なるファミリーから11のLLMで1,980のリアルタイムモダナイゼーションコールを実行しています。
セマンティック保存ドリフトは、クリーンに制御されたベースラインから広く普及し、鋭く分離可能であることが判明した。
論文 参考訳（メタデータ） (2026-05-20T05:00:31Z) - Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali [0.0]
ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。
本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
論文 参考訳（メタデータ） (2026-03-25T07:02:51Z) - BrainBench: Exposing the Commonsense Reasoning Gap in Large Language Models [4.264192013842096]
大きな言語モデル(LLM)は、標準ベンチマークで印象的なスコアを得るが、人間が数秒で正しく答えられるような質問を日常的に失敗する。
BrainBenchは、慎重に設計された20のカテゴリにまたがる100のブレインティーザー質問のベンチマークです。
論文 参考訳（メタデータ） (2026-03-16T02:50:43Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。
確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
論文 参考訳（メタデータ） (2025-02-27T11:03:33Z) - Paloma: A Benchmark for Evaluating Language Model Fit [112.481957296585]
言語モデル (LM) の評価では、トレーニングから切り離されたモノリシックなデータに難易度が報告されるのが一般的である。
Paloma(Perplexity Analysis for Language Model Assessment)は、546の英語およびコードドメインに適合するLMを測定するベンチマークである。
論文 参考訳（メタデータ） (2023-12-16T19:12:45Z) - Holistic Evaluation of Language Models [183.94891340168175]
言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。
本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
論文 参考訳（メタデータ） (2022-11-16T18:51:34Z) - SMaLL-100: Introducing Shallow Multilingual Machine Translation Model
for Low-Resource Languages [102.50127671423752]
本稿では,100言語をカバーするM2M-100(12B)機械翻訳モデルの蒸留版であるSMaLL-100を紹介する。
我々はSMALL-100を全ての言語対を均一にサンプリングすることで訓練し、低リソース言語の性能を維持することに重点を置いている。
我々のモデルはM2M-100(1.2B)に匹敵する結果を得るが、推論では3.6倍小さく、4.3倍高速である。
論文 参考訳（メタデータ） (2022-10-20T22:32:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。