論文の概要: Inspect India Evals: An Open Benchmarking Framework for Evaluating Large Language Models in the Indian Linguistic and Cultural Context
- arxiv url: http://arxiv.org/abs/2607.25375v1
- Date: Tue, 28 Jul 2026 07:30:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.74557
- Title: Inspect India Evals: An Open Benchmarking Framework for Evaluating Large Language Models in the Indian Linguistic and Cultural Context
- Title（参考訳）: Inspect India Evals: インド言語・文化文脈における大規模言語モデル評価のためのオープンベンチマークフレームワーク
- Abstract要約: Inspect India Evalsは、インド特有の安全性、公正性、精度の失敗を特定しようとしている。
これは、英国のInspect AIプラットフォーム上に構築されたオープンソースのフレームワークである。
16言語にわたるMMLU、Bharat(私たちのインド社会偏見に対するBBQの適応)、Digital Public Infrastructureの安全性評価、インド言語で有害なプロンプトを使用した多言語安全テスト、マルチターンジェイルブレイク抵抗テスト、LLM-as-judgeルーリックを使用したインド文化知識ベンチマークの6つのベンチマークがある。
- 参考スコア（独自算出の注目度）: 2.8000808592516293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: India is a vast nation of over 1.4 billion people, varied by hundreds of diverse and locally specific traditions and cultures and 22 officially recognized languages. Large language models (LLMs) are now being deployed on a massive scale throughout the mainland as well as in remote villages. However, the common benchmarks - MMLU, BIG-Bench, and TruthfulQA are almost exclusively English- and Western-centric. They do not identify those safety, fairness, and accuracy failures unique to the Indian context. That is the gap Inspect India Evals seeks to fill. It is an open-source framework built on top of UK AISI's Inspect AI platform. It has six benchmarks: Multilingual MMLU across sixteen Indian languages, BharatBBQ (our adaptation of BBQ for Indian social bias), a safety evaluation for Digital Public Infrastructure, a multilingual safety test using harmful prompts in Indian languages, a multi-turn jailbreak resistance test, and an Indian cultural knowledge benchmark scored using LLM-as-judge rubrics. In this study, we tested five open-weight models ranging from 8B to 32B parameters. Sarvam-M 24B and Gemma 2 27B came out on top, both scoring 80% on the composite India Fairness Index, with Sarvam-M even beating larger 32B models on Indian cultural knowledge and DPI safety compliance. All models scored 100% refusal on Multilingual Safety, whereas DPI safety varied from 20% to 100%. The framework is public. It's built to work with the UK AISI registry. Anyone can reproduce or extend this work.
- Abstract（参考訳）: インドは14億人を超える広大な国であり、数百の多様性と地域固有の伝統と文化、22の公用語によって変化している。
大規模言語モデル(LLM)は現在、本土や遠隔の村々で大規模に展開されている。
しかし、MMLU、BIG-Bench、TruthfulQAといった一般的なベンチマークはほとんど英語と西洋中心である。
彼らは、インド特有の安全性、公正性、正確さの失敗を特定できない。
これがInspect India Evalsが埋めようとしているギャップだ。
これは、英国のAISIのInspect AIプラットフォーム上に構築されたオープンソースのフレームワークである。
16言語にわたる多言語MMLU、BharatBBQ(インドの社会的バイアスに対するBBQの適応)、Digital Public Infrastructureの安全性評価、インド言語の有害なプロンプトを使用した多言語安全テスト、マルチターンジェイルブレイク抵抗テスト、LLM-as-judgeルーブリックを使用したインドの文化的知識ベンチマークである。
本研究では,8Bから32Bパラメータの5つのオープンウェイトモデルについて検討した。
Sarvam-M 24BとGemma 2 27Bはいずれもインドフェアネス指数で80%を獲得し、Sarvam-Mはインドの文化知識とDPIの安全性に関する32Bモデルを上回りました。
DPIの安全性は20%から100%まで様々であった。
フレームワークは公開されています。
英国AISIレジストリで動作するように構築されている。
誰でもこの作品を再生または拡張できる。
関連論文リスト
- IndicSafeEval: Safety Robustness of Large Language Models under Multilingual Persuasive Jailbreak Attacks [33.08360320836576]
IndicSafeEvalは、インドの言語に対する説得力に基づくジェイルブレイク評価フレームワークである。
私たちのベンチマークでは、安全クリティカルなコンテンツカテゴリー10と、異なる4つのインドの言語にわたる6つの人間のような説得戦略を組み合わせています。
我々の分析は、モデルがすべての言語やプロンプトスタイルに対して均等に振る舞うわけではないことを示している。
論文 参考訳（メタデータ） (2026-09-03T12:54:44Z) - SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs [56.34354368047577]
既存の言語モデル(LLM)の安全性評価データセットは、主に英語と西洋の文脈に焦点を当てている。
現実世界のシナリオにまたがる人書きプロンプトで構成される新しい安全ベンチマークであるSurakshaEvalを紹介する。
我々は、SurakshaEval上で最先端のLLMをベンチマークし、ベースライン安全性能を確立し、繰り返し発生する障害モードを特定する。
論文 参考訳（メタデータ） (2026-08-08T02:03:33Z) - Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs [0.0]
大規模な言語モデルの現在の安全アライメントトレーニングは英語中心である。
これはインドの言語学的に多様な人口に展開される言語技術にとって重要な失敗モードである。
インドの言語学的に多様な言語にまたがる言語技術にとって、これは致命的な失敗のモードである。
論文 参考訳（メタデータ） (2026-07-26T08:23:25Z) - Global PIQA: Evaluating Physical Commonsense Reasoning Across 100+ Languages and Cultures [117.95352635059153]
我々は100以上の言語を対象とした参加型コモンセンス推論ベンチマークであるGlobal PIQAを提案する。
グローバルPIQAの116の言語変種は、5つの大陸、14の言語族、23の文字体系をカバーしている。
グローバルPIQAの非並列分割では、50%以上の例が地元の食品、習慣、伝統、その他の文化的特有な要素を参照している。
論文 参考訳（メタデータ） (2025-10-28T05:46:25Z) - LoraxBench: A Multitask, Multilingual Benchmark Suite for 20 Indonesian Languages [45.640417004733166]
インドネシアの低リソース言語に焦点を当てたベンチマークであるLoraxBenchを紹介します。
我々のデータセットは、20言語をカバーし、3つの言語に2つの形式レジスタを追加しています。
本稿では,レジスタの変更がモデル性能に影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2025-08-17T18:07:57Z) - BharatBBQ: A Multilingual Bias Benchmark for Question Answering in the Indian Context [36.56689822791777]
Bias Benchmark for Question Answering (BBQ)のような既存のベンチマークは主に西洋の文脈に焦点を当てている。
BharatBBQは、ヒンディー語、英語、マラティー語、ベンガル語、タミル語、テルグ語、オディア語、アッサム語のバイアスを評価するために設計された、文化的に適応したベンチマークである。
我々のデータセットは1つの言語で49,108のサンプルを含み、翻訳と検証によって拡張され、8つの言語で392,864のサンプルとなる。
論文 参考訳（メタデータ） (2025-08-09T20:24:24Z) - PARAM-1 BharatGen 2.9B Model [14.552007884700618]
PARAM-1は2.9Bパラメータデコーダのみのテキストのみの言語モデルである。
25%のコーパス割り当てによるIndic言語の公平な表現、インドの形態的構造に適合したSentencePieceトークン化によるトークン化公正性、IndicQA全体にわたる文化的に整合した評価ベンチマーク、コード混合推論、社会言語的堅牢性タスクである。
論文 参考訳（メタデータ） (2025-07-16T06:14:33Z) - Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。
これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
論文 参考訳（メタデータ） (2024-08-01T04:56:13Z) - All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。
XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。
本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
論文 参考訳（メタデータ） (2023-10-02T05:23:34Z) - IndicTrans2: Towards High-Quality and Accessible Machine Translation
Models for all 22 Scheduled Indian Languages [37.758476568195256]
インドは10億人以上の人々が話す4つの主要言語族の言語と共に豊かな言語風景を持っている。
これらの言語のうち22はインド憲法に記載されている(予定言語として参照)。
論文 参考訳（メタデータ） (2023-05-25T17:57:43Z) - GeoMLAMA: Geo-Diverse Commonsense Probing on Multilingual Pre-Trained
Language Models [68.50584946761813]
我々は多言語言語モデル(mPLM)に基づく地理多言語共通感覚探索のためのフレームワークを提案する。
我々は、GeoMLAMAデータセット上のmBERT、XLM、mT5、XGLMの変種を含む11の標準mPLMをベンチマークする。
1)大きなmPLMの変種は、必ずしもその小さな変種よりもジオ・ディバースの概念を保存していないこと,2)mPLMは西欧の知識に固有の偏りがないこと,3)母国よりも母国に関する知識を調査する方がよいこと,などが分かる。
論文 参考訳（メタデータ） (2022-05-24T17:54:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。