論文の概要: Fair Fact-Checking: Closing the Cross-Lingual Gap in LLM Factual Judgement with RoSh

• arxiv url: http://arxiv.org/abs/2609.34678v1
• Date: Mon, 28 Sep 2026 09:08:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 11:22:00.196476
• Title: Fair Fact-Checking: Closing the Cross-Lingual Gap in LLM Factual Judgement with RoSh
• Title（参考訳）: フェア Fact-Checking:RoShを用いたLLM Factual Judgementにおける言語間ギャップの閉鎖
• Abstract要約: 英語はすべてのモデルで他のどの言語よりも優れていると判断され、その差は最小の言語よりも大きい。 3層で閉じた形で計算した残差ストリームの言語ごとのシフトと回転であるRoShを提案する。 Llama-3Bのアラビア語は偶然からほぼ英語のレベルへと変化し、英語で正しく答えられた主張のうち5分の1は翻訳で失われている。
• 参考スコア（独自算出の注目度）: 37.08044812250237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Misinformation on social media remains a critical problem, and more and more people settle it by asking a language model instead of a fact checker. Whether models judge such claims reliably is debated; whether they judge them equally well in every language people ask in has gone almost unasked. We test eight models from five families, 3B to 70B, on 1,500 encyclopedic factual claims that exist in identical form in eight languages. English is judged better than every other language on every model, and the gap is widest on the smallest ones, where Llama-3B on Arabic is no better than guessing. Existing remedies retrain on more multilingual data or fit an unconstrained map between language representations, and neither asks whether the model already holds the answer and simply fails to say it. It largely does: a linear probe recovers the truth from the very activations the model fails to express. We propose RoSh, a per-language shift and rotation of the residual stream, computed in closed form at three layers, with no training and no weight modified. It improves every model and closes 75% of the gap on average, helping most where the model was worst: Arabic on Llama-3B goes from chance to nearly the English level, and a fifth fewer of the claims answered correctly in English are lost in translation. What remains is no longer a read-out failure: afterwards the head recovers as much of what is encoded outside English as it does in English. An unconstrained map fitted on the same pairs falls below the untouched baseline, so the orthogonality constraint is doing the work, and every model clears a scrambled-correspondence control and ten further controls. On the two benchmarks of the closest inference-time method, latent-space intervention, run with its own data and metric code, RoSh's gains are five to thirteen times larger.
• Abstract（参考訳）: ソーシャルメディア上の誤報は依然として重大な問題であり、ファクトチェッカーの代わりに言語モデルを求める人が増えている。 モデルがそのような主張を確実に判断するかどうかについては議論されている。 我々は8つの言語で同一の形で存在する1500の百科事典の事実主張に基づいて、5つのファミリー、3Bから70Bの8つのモデルをテストする。 英語はすべてのモデルで他のどの言語よりも優れていると判断され、その差はアラビア語でLlama-3Bが当てはまる最小の言語よりも広い。 既存のリトレーニングは、より多言語的なデータで再トレーニングするか、言語表現間の制約のないマップに適合する。 線形プローブは、モデルが表現できないようなアクティベーションから真実を回復する。 残差ストリームの言語ごとのシフトと回転であるRoShを提案する。 すべてのモデルを改善し、平均で75%のギャップを閉じ、このモデルが最悪の場合の大部分を手助けする: アラビア語のLlama-3Bは、偶然からほぼ英語のレベルに至り、英語で正しく答えられた主張の5分の1は、翻訳で失われる。 残されているものはもはや読み出しの失敗ではなく、その後頭部は英語のように英語以外でエンコードされているものの多くを回復する。 同じペアに収まる制約のない写像は、タッチされていないベースラインより下降するため、直交制約は作業を行い、すべてのモデルはスクランブルされた対応制御と10のさらなる制御をクリアする。 最も近い推論時間法である潜在空間介入の2つのベンチマークにおいて、RoShの利得は5倍から13倍である。

関連論文リスト

• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Gained in Translation: Privileged Pairwise Judges Enhance Multilingual Reasoning [74.00326879493225]
  textttSP3Fは、ターゲット言語におけるテクティタニーデータなしで多言語推論を強化するフレームワークである。 まず、英語の質問応答対の翻訳版にファインチューン(SFT)を監督し、ベースモデルの正確性を高める。 第二に、RLはペアワイズ・ジャッジからのフィードバックをセルフプレイ方式で実行し、裁判官は英語の参照応答をテキストプライベート情報として受信する。
  論文  参考訳（メタデータ） (2026-01-26T17:46:44Z)
• Pushing on Multilingual Reasoning Models with Language-Mixed Chain-of-Thought [23.847410628315544]
  英語とターゲット言語を切り替える推論スキーマである**Language-Mixed CoT**を紹介する。 我々は6つのファミリー(Qwen2.5、Llama-3.1、Gemma-3など)でNinveモデル(4B-35B)を訓練する。 我々のベストモデル**KO-REAson-35B*は、平均スコア(64.0 pm 25)で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-10-05T14:39:41Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Language in Vivo vs. in Silico: Size Matters but Larger Language Models Still Do Not Comprehend Language on a Par with Humans Due to Impenetrable Semantic Reference [1.8434042562191815]
  本研究では,人間とモデルの違いがモデルサイズに寄与するかどうかを判断する上で,モデルスケーリングが果たす役割について検討する。 アナフォラ, 中心埋め込み, 比較, 負極性を含む文法判断タスクにおいて, 3つの大言語モデル(LLM)を検証した。 結果,ChatGPT-4の精度は,ChatGPT-4の精度が76%に対して80%であったのに対し,ChatGPT-4の精度は1つのタスク条件,すなわち文法文でのみ優れていた。
  論文  参考訳（メタデータ） (2024-04-23T10:09:46Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。