Fugu-MT 論文翻訳(概要): Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models

論文の概要: Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models

arxiv url: http://arxiv.org/abs/2610.29092v1
Date: Wed, 21 Oct 2026 02:35:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 00:40:06.179863
Title: Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models
Title（参考訳）: 異なる理由:多言語大言語モデルにおけるトレースレベル多様性
Abstract要約: 本稿では、可視的推論トレースを構造化シーケンスとして比較するトレースレベルの分散フレームワークを提案する。以上の結果から,多言語説明アーティファクトの一貫性を大幅に過大評価できる可能性が示唆された。
参考スコア（独自算出の注目度）: 17.773032447311195
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multilingual large language models are increasingly deployed in settings where visible reasoning traces support verification, education, and safety auditing, yet standard evaluations typically measure only final-answer agreement or holistic response similarity. As a result, they establish outcome consistency without determining whether users across languages receive comparable supporting evidence. We introduce a trace-level divergence framework that compares visible reasoning traces as structured sequences, decomposing agreement into structural similarity, order consistency, and holistic similarity, with pair-specific calibration to enable comparison across languages. Across three reasoning benchmarks, seven languages, and six frontier LLMs, the natural baseline---embedding each whole response and comparing the two by cosine---systematically overstates agreement: $52.1\%$--$67.3\%$ of examples in the top quartile of holistic similarity are not in the top quartile of structural similarity. This dissociation is stable across sentence encoders and step segmentations, and blind bilingual annotation studies in two English-anchored language pairs show that human judgments align with structural similarity rather than with the holistic baseline. A same-language control shows that the level of divergence is language-specific: two English traces for paraphrases of the same question agree more closely than an English trace and its counterparts in other languages. Our results show that answer-level and holistic evaluations can substantially overestimate the consistency of multilingual explanatory artifacts, motivating trace-level evaluation for reliable multilingual deployment.
Abstract（参考訳）: 可視的推論が検証、教育、安全監査をサポートするような環境では、多言語の大きな言語モデルがますます多くデプロイされているが、標準評価は通常、最終回答の合意や全体的応答の類似性のみを計測する。その結果,言語間のユーザが同等に支持された証拠を受け取るかどうかを判断することなく,結果の整合性を確立することができた。本稿では、可視的推論トレースを構造的シーケンスとして比較し、コンセンサスを構造的類似性、順序整合性、全体的類似性に分解し、言語間の比較を可能にするペア固有キャリブレーションを含むトレースレベルの分散フレームワークを提案する。 3つの推論ベンチマーク、7つの言語、6つのフロンティア LLM の自然なベースライン-各応答を埋め込み、コサインで比較する-- 体系的にオーバーステートの合意: 52.1\%$--$67.3\% 全体的類似性の上位四重項の例は、構造的類似性の上位四重項には含まれない。この解離は文エンコーダとステップセグメンテーションの間で安定しており、英語と英語の2つの言語対における盲目的バイリンガルアノテーションの研究は、人間の判断が全体論的基準よりも構造的類似性に一致していることを示している。同じ質問のパラフレーズのための2つの英語のトレースは、他の言語における英語のトレースとそのそれに対応するものよりも、より密接に一致している。以上の結果から,多言語説明アーティファクトの一貫性を著しく過大評価し,信頼性の高い多言語展開のためのトレースレベル評価を動機付けることが示唆された。

関連論文リスト

Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation [4.651750987298774]
並列データに基づいて訓練された制御単言語言語モデルを用いて言語間評価手法を検討する。この結果から, トークン化, エンコーディング, 正書法の違いに根ざした多言語的バイアスが広く用いられている。対照的に、意味論的に等価なシーケンスで計算された文レベルの負の対数類似性は、より有意義で一貫した言語間比較を提供する。
論文参考訳（メタデータ） (2026-08-25T19:36:15Z)
Shared Circuits for Shared Grammar: Tracing Subject-Verb Agreement Across Languages [18.33287987422947]
過剰な人物/数字の屈折を持つ言語は、非共役言語よりも類似した合意回路を示す。多くの意味のある頭は言語間で類似した注意パターンを示しており、言語間重複は共通機能の役割と共通局在を反映していることを示唆している。
論文参考訳（メタデータ） (2026-08-19T05:05:15Z)
When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs [20.39151103511549]
大規模言語モデルは強い多言語能力を示すが、その内部表現は解釈が難しい。近年の研究では、因果幾何学構造が、どのようにある概念がほぼ線形かつ分離可能な方向としてエンコードされているかを説明することができることが示されている。因果幾何学的解析を多言語LLMに適用し、3つのモデル間の28の両言語コントラストについて検討した。
論文参考訳（メタデータ） (2026-06-12T11:00:59Z)
Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages [0.22009842278462158]
大規模言語モデル(LLM)の言語間評価は、典型的には、真のモデルの性能差と測定不安定性の2つの要因を混同する。対象言語が異なる場合に生成条件を一定に保って評価信頼性を評価する。本研究は, 形態学的に豊かな言語における談話レベルの評価には, ゼロショット・ジャッジ・トランスファーが信頼できないことを示唆している。
論文参考訳（メタデータ） (2026-02-02T16:27:32Z)
On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
論文参考訳（メタデータ） (2025-10-11T16:26:50Z)
A Comprehensive Evaluation of Multilingual Chain-of-Thought Reasoning: Performance, Consistency, and Faithfulness Across Languages [48.68444770923683]
マルチリンガル・チェーン・オブ・ソート(CoT)推論の最初の包括的研究について述べる。 LRMがターゲット言語ですぐに考えることができる場合、言語コンプライアンス、解答精度、解答一貫性を計測する。思考の痕跡の質と有効性は、素早い言語によって大きく異なることがわかった。
論文参考訳（メタデータ） (2025-10-10T17:06:50Z)
Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
論文参考訳（メタデータ） (2025-05-26T07:21:20Z)
A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文参考訳（メタデータ） (2021-09-13T21:05:37Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文参考訳（メタデータ） (2021-04-17T20:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。