論文の概要: Disentangling Question, Response, and Verifier Languages in Multilingual P(True) Self-Evaluation

• arxiv url: http://arxiv.org/abs/2610.32144v1
• Date: Fri, 23 Oct 2026 04:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.342668
• Title: Disentangling Question, Response, and Verifier Languages in Multilingual P(True) Self-Evaluation
• Title（参考訳）: 多言語P(True)自己評価における難解な質問・応答・検証言語
• Abstract要約: 言語モデルが正しいかどうかを問うと、3つの言語が関係する。 信頼評価は3つをほとんど区別しない。 オープンウェイトモデルが10つある6言語による因子的設計では、それぞれ独立して異なる。
• 参考スコア（独自算出の注目度）: 8.902793668615567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a language model is asked whether its own answer is correct, three languages are involved: that of the question, that requested for the answer, and that of the verifier instruction asking for the judgment. Multilingual confidence evaluations seldom separate the three. We vary them independently in a six-language factorial design with ten open-weight models (3B-14B) on LSQA, MMMLU and TriviaQA, holding each answer fixed across verifier languages and measuring confidence with a first-token P(True) probe. The three languages move different parts of the evaluation: which of them governs accuracy depends on the benchmark, matching the response language to the question or verifier language sharpens discrimination but not calibration, and the verifier language alone shifts calibration error by up to 0.04 without changing accuracy. The scorer matters as well: an unvalidated judge would have shrunk the MMMLU English-Hindi accuracy gap from 0.198 to 0.038. Multilingual confidence results, model rankings included, are therefore comparable only when all three languages are reported and the scorer is validated.
• Abstract（参考訳）: 言語モデルが自身の回答が正しいかどうかを問うと、3つの言語が関係する。 多言語信頼評価は3つをほとんど区別しない。 LSQA,MMMLU,TriviaQAの10個のオープンウェイトモデル(3B-14B)を用いて,検証言語間で各回答を固定し,P(True)プローブを用いて信頼度を測定する6言語因子設計において,それぞれ独立に異なる。 3つの言語は評価の異なる部分を移動し、どの言語が精度を支配しているかは、ベンチマークに依存し、応答言語を質問や検証言語と一致させることで、識別を鋭くするが、校正はせず、検証言語単独では精度を変えずに校正誤差を最大0.04にシフトする。 正当性のない審査員は、MMMLUの英語とヒンディー語の精度ギャップを0.198から0.038に縮めただろう。 したがって、3つの言語が全て報告され、スコアラーが検証された場合にのみ、モデルランキングを含む多言語信頼結果が同等となる。

関連論文リスト

• What Does Post-Training Change in Multilingual Reasoning? [12.915215118963893]
  オープンソース推論モデルは、言語間の推論能力に不平等なアクセスを提供する。 11言語における競合数学のタスクに関するQwen3チェックポイントを監査する。 10の非英語言語全体では、15.4-17.9%の問題は16のサンプルのいずれにおいても、要求された言語で目に見える推論を伴う正しい解決策が与えられ、英語では92.9%である。
  論文  参考訳（メタデータ） (2026-09-29T09:23:31Z)
• Lower-Resource, Higher Scores: Language Bias in LLM Evaluators [27.959960538188753]
  意味論的に同一の命令応答対を23言語で実験する。 その結果、多言語評価器は異なる評価言語に大きく異なるスコアを割り当てていることがわかった。
  論文  参考訳（メタデータ） (2026-07-16T01:53:09Z)
• Multilingual Verifier Bias in RLVR: Benchmark, Rollout Diagnosis, and the Cross-Lingual Selection Bottleneck [6.406377225565017]
  正確なマッチング検証器は、形式とスクリプトのバリエーションを言語依存の偽陰性報酬雑音に変換する。 マルチリンガルなRLVR報酬を監査するための再利用可能なプロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-17T15:55:54Z)
• Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge [0.0]
  LLMBar応答ペアアイテムを英語、中国語、中国語に切り替えた変種に変換する軽量なメタ評価プロトコルを提案する。 信頼できる裁判官は、ラベルアクセシブル言語変換の下でその嗜好を維持するべきである。 モデル全体では、中国語と言語に精通したプレゼンテーションは、英語と比較して10.7-14.4%の好みのフリップを誘導し、すべての審査員は英語で最高の精度を達成している。
  論文  参考訳（メタデータ） (2026-06-12T08:59:26Z)
• Align to the Pivot: Dual Alignment with Self-Feedback for Multilingual Math Reasoning [71.4175109189942]
  Pivot-Aligned Self-Feedback Multilingual Reasoning (PASMR)を提案する。 このアプローチは、モデルの第一言語をピボット言語として指定する。 外部の正しい回答や報酬モデルに頼ることなく、言語横断的な自己フィードバック機構を確立する。
  論文  参考訳（メタデータ） (2026-01-25T03:20:00Z)
• XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering [48.913480244527925]
  大規模言語モデル (LLM) はオープンドメイン質問応答 (ODQA) において大きな進歩を見せている。 ほとんどの評価は英語に焦点をあて、言語間で局所不変の回答を仮定する。 XLQAは局所感性多言語ODQA用に明示的に設計された新しいベンチマークである。
  論文  参考訳（メタデータ） (2025-08-22T07:00:13Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• On the Calibration of Multilingual Question Answering LLMs [57.296161186129545]
  複数の多言語大言語モデル(MLLM)のキャリブレーションを様々な質問応答タスクでベンチマークする。 本研究では,分布内,分布外,言語間移動設定におけるキャリブレーションの異なる次元について検討する。 LlaMa2のようなデコーダのみのLLMでは、コンテキスト内学習は多言語データの信頼性校正を改善する。
  論文  参考訳（メタデータ） (2023-11-15T03:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。