論文の概要: Evaluation Awareness Beyond English: Do LLMs Act Differently When Tested in Indic Languages?

• arxiv url: http://arxiv.org/abs/2610.22333v1
• Date: Thu, 15 Oct 2026 17:53:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.268924
• Title: Evaluation Awareness Beyond English: Do LLMs Act Differently When Tested in Indic Languages?
• Title（参考訳）: 英語以外の評価意識:LLMは、インド語でのテストで異なる行動をとるか?
• Abstract要約: 大規模な言語モデル(LLM)は、テストされるタイミングを判断することが多い。 評価意識として知られるこの能力は、モデルが実際の使用よりも安全性評価中に慎重に行動することを可能にする。 既存の研究は、ほとんど完全に英語で評価の認知を研究してきたが、多くの言語でモデルがユーザーに役立っている。 インデックス言語は10億人以上の人々によって話されているが、評価意識はほとんど研究されていない。
• 参考スコア（独自算出の注目度）: 2.5484170405647664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can often tell when they are being tested. This ability, known as evaluation awareness, can lead models to act more cautiously during safety evaluations than in real use. Existing work has studied evaluation awareness almost entirely in English, although models serve users in many languages. Indic languages are spoken by over a billion people, yet evaluation awareness remains almost entirely unstudied in them. We test four instruction-tuned models from three families in five Indic languages alongside English. A set of cues varies whether the model is told that it is monitored and whether the monitoring is a safety test. Models refuse harmful requests more often when they are told that they are being tested. This increase appears in all four models and all six languages. In Indic languages, refusal of harmful requests rises by 14.4 percentage points on average. The test cue also brings Indic refusal of harmful requests level with English, but raises refusal of benign Indic requests from 6.9% to 11.3%. We release all 47,880 judged responses to support further work. These results suggest that safety evaluations in Indic languages may not reflect how models treat their everyday users.
• Abstract（参考訳）: 大規模な言語モデル(LLM)は、テストされるタイミングを判断することが多い。 評価意識として知られるこの能力は、モデルが実際の使用よりも安全性評価中に慎重に行動することを可能にする。 既存の研究は、ほとんど完全に英語で評価の認知を研究してきたが、多くの言語でモデルがユーザーに役立っている。 インデックス言語は10億人以上の人々によって話されているが、評価意識はほとんど研究されていない。 我々は、英語と共に5つのインド語族の3つの家庭から4つの指導訓練モデルをテストする。 一連の手がかりは、モデルが監視されていると告げられるか、監視が安全テストであるかどうかによって異なる。 モデルは、テストされていると言われたとき、有害な要求を頻繁に拒否します。 この増加は4つのモデルと6つの言語すべてに現れる。 インド語では、有害な要求の拒絶が平均14.4ポイント上昇している。 テストキューはまた、Indicは英語で有害な要求を拒否するが、良心的なIndic要求を6.9%から11.3%に引き上げる。 さらなる作業をサポートするために、47,880の判断された回答をすべてリリースします。 これらの結果から,モデルが日常ユーザをどのように扱うかは,インデクス言語による安全性評価では反映されない可能性が示唆された。

関連論文リスト

• IndicSafeEval: Safety Robustness of Large Language Models under Multilingual Persuasive Jailbreak Attacks [33.08360320836576]
  IndicSafeEvalは、インドの言語に対する説得力に基づくジェイルブレイク評価フレームワークである。 私たちのベンチマークでは、安全クリティカルなコンテンツカテゴリー10と、異なる4つのインドの言語にわたる6つの人間のような説得戦略を組み合わせています。 我々の分析は、モデルがすべての言語やプロンプトスタイルに対して均等に振る舞うわけではないことを示している。
  論文  参考訳（メタデータ） (2026-09-03T12:54:44Z)
• BabelSteering: Multilingual Safety Alignment via English Steering Vectors [11.019536451878162]
  我々は、英語のような高リソース言語から学んだ安全信号が、多言語安全性を向上させることができるかどうかを検討する。 本稿では,軽量な推論時間介入として機能するアクティベーションステアリング手法であるBabelSteeringを提案する。 結果から,BabelSteeringは言語間の有害な要求の拒絶を増大させることがわかった。
  論文  参考訳（メタデータ） (2026-08-17T13:40:16Z)
• Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
  多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。 文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
  論文  参考訳（メタデータ） (2025-05-23T02:46:18Z)
• HEALTH-PARIKSHA: Assessing RAG Models for Health Chatbots in Real-World Multilingual Settings [19.899993042428264]
  本研究は、インド人患者から収集した実世界データに基づいて、24大言語モデル(LLM)を広範囲に評価する。 モデルの性能は様々であり,命令調律されたIndicモデルは必ずしもIndic言語クエリでうまく機能しないことがわかった。
  論文  参考訳（メタデータ） (2024-10-17T15:29:57Z)
• All Languages Matter: On the Multilingual Safety of Large Language Models [96.47607891042523]
  我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。 XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。 本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T05:23:34Z)
• Speaking Multiple Languages Affects the Moral Bias of Language Models [70.94372902010232]
  事前訓練された多言語言語モデル(PMLM)は、複数の言語からのデータや言語間転送を扱う際に一般的に用いられる。 モデルは英語から道徳的規範を捉え、他の言語に強制するか? 我々の実験は、事実、PMLMが道徳的バイアスを符号化していることを示しているが、これらは必ずしも人間の意見の文化的相違や共通点に対応しているわけではない。
  論文  参考訳（メタデータ） (2022-11-14T20:08:54Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。