論文の概要: Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation

• arxiv url: http://arxiv.org/abs/2610.20221v1
• Date: Wed, 14 Oct 2026 13:58:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.179193
• Title: Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation
• Title（参考訳）: 推論誘導翻訳による多言語安全と推論評価のスケーリング
• Abstract要約: 大規模言語モデル(LLM)は言語にまたがって徐々に展開されているが、その安全性と推論能力は英語では主に評価されている。 多様なベンチマークタスクの構造と意味を保存するために設計された多言語評価を構築するための推論誘導型翻訳フレームワークを提案する。 我々は,11言語にまたがる7つの安全性,対話性,数学的推論のリソースにまたがるソースアライメント評価コレクションを開発した。
• 参考スコア（独自算出の注目度）: 28.944990804599893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly deployed across languages, yet their safety and reasoning capabilities remain predominantly evaluated in English. Translating existing benchmarks offers a scalable approach to multilingual evaluation, but preserving task-specific meaning across languages presents significant challenges, particularly for harmful requests, mathematical reasoning, and conversational interactions. We introduce a reasoning-guided translation framework for constructing multilingual evaluations designed to preserve the structure and intended meaning of diverse benchmark tasks. Our approach separates translation strategy selection from large-scale generation, combining reasoning-guided configuration selection with task-aware validation, targeted repair, and independent quality screening. Using this framework, we develop a source-aligned evaluation collection spanning seven safety, conversational, and mathematical reasoning resources across 11 languages. The resulting collection achieves 99.94\% coverage of intended item--language pairs in the two subsets requiring repair. Evaluations of open-source LLMs reveal distinct language-dependent vulnerabilities, including inconsistent refusal behaviour and substantial reasoning degradation in lower-resource languages. These findings highlight the importance of task-sensitive benchmark construction and systematic quality assessment for understanding multilingual model behaviour beyond English.
• Abstract（参考訳）: 大規模言語モデル(LLM)は言語にまたがって徐々に展開されているが、その安全性と推論能力は英語では主に評価されている。 既存のベンチマークの翻訳は、多言語評価に対するスケーラブルなアプローチを提供するが、言語間でタスク固有の意味を保存することは、特に有害な要求、数学的推論、会話の相互作用において、重大な課題を提示する。 多様なベンチマークタスクの構造と意味を保存するために設計された多言語評価を構築するための推論誘導型翻訳フレームワークを提案する。 提案手法では,翻訳戦略の選択を大規模生成から切り離し,推論誘導型構成選択とタスク認識検証,目標修復,独立品質スクリーニングを併用する。 このフレームワークを用いて,11言語にまたがる7つの安全性,対話性,数学的推論リソースを対象としたソース整合評価コレクションを開発した。 結果として得られたコレクションは、修理を必要とする2つのサブセットにおける意図されたアイテム言語ペアの99.94\%のカバレッジを達成する。 オープンソースLLMの評価では、一貫性のない拒絶動作や低リソース言語における実質的な推論劣化など、言語依存の脆弱性が明らかにされている。 これらの知見は、英語以外の多言語モデル行動を理解するために、タスクセンシティブなベンチマーク構築と体系的な品質評価の重要性を強調している。

関連論文リスト

• Dataset Scarcity Limits Robust Evaluation of Multilingual Embedding Models: A Case Study of Slavic Languages [3.9407886544063384]
  本稿では,データセット不足下での多言語埋め込みベンチマーク解析のための2次元フレームワークを提案する。 このフレームワークは,3つの相補的な側面を共同で分析しながら,タスク固有の評価とタスク間の評価を区別する。 スラヴ語とタスクのペアの多くは、単一のデータセットや高い相関のベンチマークコレクションに依存しています。
  論文  参考訳（メタデータ） (2026-08-25T12:23:31Z)
• LANG: Reinforcement Learning for Multilingual Reasoning with Language-Adaptive Hint Guidance [77.58408743830314]
  強化学習は大規模言語モデルにおける多段階推論の強化に有効であることが証明されている。 しかし、その利点は多言語文脈に完全には翻訳されていない。 我々は、言語条件付きヒントを利用して、英語以外の推論タスクの探索をガイドする新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2026-05-21T14:47:52Z)
• Cross-Lingual LLM-Judge Transfer via Evaluation Decomposition [13.066970846043576]
  我々は,Universal Criteria Set (UCS) を中心に構築された分解に基づく評価フレームワークを提案する。 UCSは言語に依存しない評価次元の集合で構成され、解釈可能な中間表現を生成する。 言語やモデルバックボーンにまたがる複数の忠実度タスクの実験では、ターゲット言語アノテーションを必要とせずに一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-03-19T07:11:31Z)
• On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
  SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。 これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
  論文  参考訳（メタデータ） (2025-10-11T16:26:50Z)
• A Comprehensive Evaluation of Multilingual Chain-of-Thought Reasoning: Performance, Consistency, and Faithfulness Across Languages [48.68444770923683]
  マルチリンガル・チェーン・オブ・ソート(CoT)推論の最初の包括的研究について述べる。 LRMがターゲット言語ですぐに考えることができる場合、言語コンプライアンス、解答精度、解答一貫性を計測する。 思考の痕跡の質と有効性は、素早い言語によって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2025-10-10T17:06:50Z)
• XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering [48.913480244527925]
  大規模言語モデル (LLM) はオープンドメイン質問応答 (ODQA) において大きな進歩を見せている。 ほとんどの評価は英語に焦点をあて、言語間で局所不変の回答を仮定する。 XLQAは局所感性多言語ODQA用に明示的に設計された新しいベンチマークである。
  論文  参考訳（メタデータ） (2025-08-22T07:00:13Z)
• Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
  多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。 文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
  論文  参考訳（メタデータ） (2025-05-23T02:46:18Z)
• AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought [40.16140566668239]
  AdaMCOTは多言語の事実推論を強化するフレームワークである。 AdaMCOTは、ターゲット言語応答を生成する前に、中間言語における思考プロセスを動的にルーティングする。 本評価は, 事実推論品質と言語間整合性の両方において, 大幅な改善を示すものである。
  論文  参考訳（メタデータ） (2025-01-27T15:48:57Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。