論文の概要: Measuring and Reducing Cross-Vendor Mismatch in Language Models

• arxiv url: http://arxiv.org/abs/2610.05458v1
• Date: Sun, 04 Oct 2026 19:08:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:38:31.36309
• Title: Measuring and Reducing Cross-Vendor Mismatch in Language Models
• Title（参考訳）: 言語モデルにおけるクロスベンダ・ミスマッチの測定と低減
• Abstract要約: クロスベンダーのミスマッチを2つの密集型と2つの混合型(MoE)モデルで解析する。 我々は、ミスマッチの情報源の1つをベンダーの行列命令内の累積順序に辿る。
• 参考スコア（独自算出の注目度）: 5.251362002036889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Running the same language model on different graphics processing unit (GPU) vendors can produce different logits, even when the model weights and inputs are the same. We analyze cross-vendor mismatch in two dense and two mixture-of-experts (MoE) models with five metric families, namely bitwise equality, logit differences, top-K consistency, token agreement, and task accuracy. We trace one source of the mismatch to accumulation order inside vendors' matrix instructions. Upcasting to FP32 reduces the dense model's logit error by 43% at three times the runtime, yet keeping only the MLPs in BF16 retains 94% of this gain at 1.3 times the runtime, so most of the cost of full upcasting buys little. In the MoE models, FP32 and FP16 both lower the probability error but raise the logit error and change expert selection, and FP16 fails in the dense model. An output-head low-rank adapter (LoRA) does not help either, since the final hidden state does not predict the mismatch. The mismatch also carries into training. With every seed fixed, a student distilled from a teacher running on AMD answers 431 MMLU questions differently from one distilled from the same teacher on NVIDIA. Under FP32 upcasting, bitwise equality barely changes while the output distributions move most of the way to the reference, so judging cross-vendor agreement by a single measure misreads both its cost and its gains. Code is available at https://github.com/crova-project/crova.
• Abstract（参考訳）: 異なるグラフィックス処理ユニット(GPU)ベンダーで同じ言語モデルを実行すると、モデルの重みと入力が同じであっても、異なるロジットを生成することができる。 我々は、ビットワイド等式、ロジット差、トップK整合性、トークン整合性、タスク精度の5つのメートル法ファミリを持つ2つの密閉および2つの混合専門家(MoE)モデルにおいて、クロスベンダーミスマッチを解析する。 我々は、ミスマッチの1つの源をベンダーの行列命令内の累積順序に辿る。 FP32へのアップキャストは、高密度モデルのロジットエラーを3倍に43%削減するが、BF16のMLPだけが94%のアップレートを1.3倍に維持しているため、フルアップキャストのコストはほとんど購入できない。 MoEモデルでは、FP32とFP16はどちらも確率誤差を下げるが、ロジットエラーと変更専門家の選択を上昇させ、FP16は密度の高いモデルでは失敗する。 出力ヘッドローランクアダプタ(LoRA)も、最終隠れ状態がミスマッチを予測しないため、役に立たない。 ミスマッチはトレーニングも行います。 すべての種を固定すると、AMDで実行している教師から蒸留された学生は、NVIDIAで同じ教師から蒸留された学生とは異なる質問を431 MMLUで回答する。 FP32のアップキャストでは、出力分布が参照のほとんどを移動している間にビット単位の等価性がほとんど変化しないため、単一測度によるベンダー間の合意はコストと利得の両方を誤読する。 コードはhttps://github.com/crova-project/crova.comで入手できる。

関連論文リスト

• Spotter: Let the Embodied Model Lead, and the VLM Reflect for It [90.10618759230066]
  現行の具体化モデルは、失敗に反応しないが、失敗に終わったことは、次の試みの微調整を知らせる可能性がある。 本稿では,その役割を逆転するSputterを提案する。 GPTにより、Sputterはコスモス政策を5.6ドル、RoboCasaの7.5ポイント改善し、47.2%から57.0%に$_0.5ドルを引き上げている。 VLMはエラーが確認された場合にのみステップするので、Qwenで成功したエピソードは13から13にしかならない。
  論文  参考訳（メタデータ） (2026-09-29T06:21:50Z)
• Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
  大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。 同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。 実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
  論文  参考訳（メタデータ） (2026-09-22T15:54:16Z)
• Optimizers for Diffusion Models: A Controlled Benchmark [75.49404880689772]
  4つの拡散定式化にまたがる制御されたベンチマークを示す。 全ての勝者は3つの種で全予算で再訓練される。 Muon、MARS-M、SOAPはそれぞれ、少なくとも1つの拡散定式化で調整されたAdamWを破った。
  論文  参考訳（メタデータ） (2026-09-19T14:41:28Z)
• Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard [0.010742675209112621]
  F-ICLは、正しい帰納的推論のためのテキスト内学習ベンチマークである。 長さ15億のプログラム全てをLle13$で包含し、ベイズ最適後部を閉形式で計算する。 モデルはクエリの最大92%を正しく答えるが、46モデルのうち45モデルはキーストローク参照よりも最適な位置から分布を得る。
  論文  参考訳（メタデータ） (2026-08-03T01:21:44Z)
• Flat Score, Amplified Failures: How the Error Budget Masks Damage in Quantized LLM Agents [19.600181756177303]
  密度とMoEの2つのモデルファミリの2ドルベンチでは、量子化は標準メートル法では自由に見える。 量子化は、モデルが既に示す失敗を最大2.5$times$の完全精度で増幅する。 目標とするエラー修正プロンプトは、正確度毎に5つの通信モデルで実行される。
  論文  参考訳（メタデータ） (2026-07-29T12:40:04Z)
• When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models [0.0]
  マルチモデルLPMシステムは単一モデルの精度を上回ります。 彼らの利益は、ほとんど報告されない量で占められていることを示す。
  論文  参考訳（メタデータ） (2026-06-25T17:06:06Z)
• When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs [0.0]
  並列プログラムの次のステップを予測するためにモデルをトレーニングするのは、スケジューラが非決定論的であるため、見た目よりも難しい。 我々は、各プログラムを何度も実行し、観測された次の事象を経験的分布に集約し、その分布をKLの目的と一致するように7Bモデルを微調整する。 実際のGoのバグから引き出された798のホールトアウト予測では、1000個未満のトレースの微調整が36.2%の精度に達する。 P(GoUnblock)がスケジューラのセマンティクスによって保持される選択ブロックゴルータのクラスに対する正規なゴルータ-リークシグネチャを学習によって導出する。
  論文  参考訳（メタデータ） (2026-06-16T04:40:04Z)
• RoMa v2: Harder Better Faster Denser Feature Matching [56.71494120301684]
  Dense Feature Matchは、3Dシーンの2つの画像間のすべての対応を推定することを目的としている。 既存の密集型マーカは、多くのハード・リアル・ワールド・シナリオで失敗したり、性能が悪くなったりします。 本稿では,これらの弱点を,一連の系統的な改善を通じて広範囲にわたって攻撃する。
  論文  参考訳（メタデータ） (2025-11-19T18:59:38Z)
• Defeating the Training-Inference Mismatch via FP16 [72.25890308541334]
  強化学習(Reinforcement Learning, RL)の微調整は、トレーニングと推論ポリシーのミスマッチが原因で不安定な場合が多い。 その根本原因は浮動小数点精度そのものにあることを示す。 広く採用されているBF16は、大きなダイナミックレンジにもかかわらず、トレーニングと推論の一貫性を損なう大きな丸め誤差を導入している。
  論文  参考訳（メタデータ） (2025-10-30T17:58:11Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。