論文の概要: Component Translation and Judge-Labelled Refusal: A Multilingual Safety Evaluation
- arxiv url: http://arxiv.org/abs/2610.38181v1
- Date: Wed, 28 Oct 2026 02:29:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 18:38:21.639766
- Title: Component Translation and Judge-Labelled Refusal: A Multilingual Safety Evaluation
- Title（参考訳）: コンポーネント翻訳と判断ラベルの拒絶:多言語安全評価
- Abstract要約: 全プロンプト翻訳は異なる言語で要求を評価するが、どのコンポーネントが言語を持っているかは比較しない。
完全な要求コンポーネントまたは完全な操作コンポーネントを同じターゲット言語に変換する。
- 参考スコア（独自算出の注目度）: 0.8699677835130409
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Whole-prompt translation evaluates a request in different languages but does not compare which component carries a language. We introduce a paired reversal: translate the complete request component or the complete operation component into the same target language, holding behaviour, English frame and translated-span count fixed. Component identity and non-English text quantity change together. Assigning English, Chinese and Spanish independently to the two components yields nine configurations on 190 of 300 sampled harmful behaviours retained after consensus annotation and automatic gating. Refusal scored by language-model judges is the primary outcome; unsafe compliance is reported separately. On Gemini 2.5 Flash and DeepSeek, three refusal swaps are about 5.3 percentage points and the fourth is -0.5; none survives the pre-specified six-test Holm correction. In an exploratory extension, Mistral Small 4 has a 13.7-point Spanish swap (95% interval [8.4, 18.9]), which survives the twelve-test Holm sensitivity correction under the primary judge, and 12.1 points under a second judge. GPT-5.4-mini estimates are within 2 points of zero. Component assignment supplies an additional evaluation dimension. Evaluations should record component languages and translated text quantity, comparing matched behaviours at equal translated-span count while interpreting refusal and unsafe compliance separately.
- Abstract（参考訳）: 全プロンプト翻訳は異なる言語で要求を評価するが、どのコンポーネントが言語を持っているかは比較しない。
我々は、完全な要求コンポーネントまたは完全な操作コンポーネントを同じターゲット言語に翻訳し、動作を保持し、英語フレームと翻訳スパンカウントを固定するペアリバーサルを導入する。
コンポーネントアイデンティティと非英語テキスト量は、一緒に変化する。
2つのコンポーネントに独立して英語、中国語、スペイン語を割り当てると、コンセンサスアノテーションと自動ゲーティング後に保持される300のサンプルの有害な振る舞いのうち、9つの構成が得られる。
言語モデル審査員による拒絶が主な結果であり、安全でないコンプライアンスは別々に報告される。
Gemini 2.5 FlashとDeepSeekでは、3つの拒絶スワップが約5.3ポイント、4つ目は-0.5で、事前に特定された6つのホルム補正は残っていない。
探索的拡張では、Mistral Small 4 は 13.7 点のスペインスワップ (95% 間隔 [8.4, 18.9]) を持ち、第一審で12 点のホルム感度補正を継続し、第二審では 12.1 点である。
GPT-5.4-miniの推定値は0の2点以内である。
コンポーネント割り当ては、さらなる評価の次元を提供する。
評価は、コンポーネント言語と翻訳されたテキスト量を記録し、一致した振る舞いを同一の翻訳スパン数で比較し、拒絶と安全でないコンプライアンスを別々に解釈する。
関連論文リスト
- Disentangling Question, Response, and Verifier Languages in Multilingual P(True) Self-Evaluation [8.902793668615567]
言語モデルが正しいかどうかを問うと、3つの言語が関係する。
信頼評価は3つをほとんど区別しない。
オープンウェイトモデルが10つある6言語による因子的設計では、それぞれ独立して異なる。
論文 参考訳（メタデータ） (2026-10-23T04:20:43Z) - Decomposing and Predicting Annotation Disagreement in Harmful Content Across Languages [48.69228180369574]
アノテーションの不一致は、主観的なタスクの有意義な性質として、ますます認識されている。
テキストの解釈可能な意味特性から不一致を予測することを提案する。
モデルとデータセット全体、デロゲーションに関する質問、コンテキストの欠如、決定境界が最強の予測要因として機能する。
論文 参考訳（メタデータ） (2026-10-13T15:49:44Z) - When Metrics Reward the Worst Translations: Internalizing Cultural Reasoning for Social Media Translation Evaluation [40.50995079894586]
COMET,XCOMET,BERTScoreなどの標準指標は,人的文化的判断とほぼゼロあるいは負の相関を示した。
文化的推論を内包する強化学習フレームワークCuRILを提案する。
論文 参考訳（メタデータ） (2026-09-08T02:39:50Z) - Rank Reversal in Multilingual LLM Judges: A Label-Free Double-Centering Calibrator [0.8253953000831505]
LLM審査員は、プロンプト言語に応じて評価器-バックボーンランキングを生成する。
上位のバックボーンは英語、アラビア語、中国語、ヒンディー語、日本語、スペイン語、トルコ語、スワヒリ語で交互に使われている。
多言語判定スコアは、追加的にタスク難易度、バックボーンスキル、言語とバックボーンの相互作用項に分解する。
論文 参考訳（メタデータ） (2026-08-23T14:18:25Z) - Auditing Cross-Lingual Fairness in Language Model Watermarking [42.312814306968136]
大規模な言語モデル出力のための透かしスキームは、ほとんど英語のテキストに基づいて評価される。
多言語展開は、英語では不適切だが言語横断的に結論を決定する評価設計の選択を公開する。
そこで本研究では,展開状況毎に経験的に校正された検出しきい値,しきい値非依存の相同性測定,3つの不整合品質測定パラダイム,タイプロジカルな家族分割に対する言語間格差の一般化エントロピー分解の4つの要素による評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-20T13:48:12Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - Contrastive ESA: Human Evaluation of Multiple Translations at Once [45.918020796451536]
Contrastive Error Spanを紹介します。
(cESA) ソース入力(テキスト、ビデオ、オーディオ、画像)の複数翻訳を行うプロトコル。
cESAでは、アノテータは同じ文書の複数の翻訳を見て、メジャーとマイナーのエラースパンをマークし、絶対スケールでスコアを0%から100%に割り当てる。
我々は,12モデルの日本語翻訳を人体で大規模に評価したcESAを検証し,標準点評価と比較して注釈時間と雑音の低減を実証した。
論文 参考訳（メタデータ） (2026-07-29T09:01:59Z) - BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories [0.0]
LLM-as-a-judgeは、NLPパイプラインのスケーラビリティ評価において、主要なアプローチとなっている。
オープンソースのベンチマークと信頼性監査フレームワークであるBabelJudgeを紹介します。
位置バイアス、冗長性バイアス、順序の不整合、言語間の劣化の4つの障害モードを計測します。
論文 参考訳（メタデータ） (2026-06-21T04:35:43Z) - Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge [0.0]
LLMBar応答ペアアイテムを英語、中国語、中国語に切り替えた変種に変換する軽量なメタ評価プロトコルを提案する。
信頼できる裁判官は、ラベルアクセシブル言語変換の下でその嗜好を維持するべきである。
モデル全体では、中国語と言語に精通したプレゼンテーションは、英語と比較して10.7-14.4%の好みのフリップを誘導し、すべての審査員は英語で最高の精度を達成している。
論文 参考訳（メタデータ） (2026-06-12T08:59:26Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Multilingual Prompt Localization for Agent-as-a-Judge: Language and Backbone Sensitivity in Requirement-Level Evaluation [0.8253953000831505]
我々はエージェント・ア・ジャッジ・プロンプト・スタックを5つのタイプ的多様言語(英語、アラビア語、トルコ語、中国語、ヒンディー語)にローカライズする。
3つの開発者エージェントフレームワークと6つの審査バックボーンで55のDevAI開発タスクを評価し、合計4950回の審査を実行した。
GPT-4oは英語で最も満足度が高い(44.72%)のに対し、ジェミニはアラビア語(51.72%、$p0.001$、GPT-4o、Hindi)である。
論文 参考訳（メタデータ） (2026-04-06T08:54:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。