論文の概要: Accuracy is not compatibility: two Evo 2 checkpoints hinge on one FP8 matrix multiplication
- arxiv url: http://arxiv.org/abs/2610.39415v1
- Date: Thu, 29 Oct 2026 05:55:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.463814
- Title: Accuracy is not compatibility: two Evo 2 checkpoints hinge on one FP8 matrix multiplication
- Title（参考訳）: 1つのFP8行列乗算上の2つのEvo 2チェックポイントヒンジ
- Abstract要約: Evo 2 は 1B と 40B のチェックポイントに対して Hopper FP8 の要件を文書化している。
2つのBlackwell GPUでは、どちらも開発者の前方テストに失敗(7Bパス)
40Bの次のベース精度は25.7%であり、ほぼ予想通りである。
この射影のみをエミュレートすると、重量は変化せず、40B BRCA1の変種分類 AUROC は 0.434 から 0.869 に上昇する。
- 参考スコア（独自算出の注目度）: 1.6881346757176978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: FP8 formats specify how values are stored, not how products are summed; this gap can break checkpoints. Evo 2, a DNA language model, documents a Hopper FP8 requirement for its 1B and 40B checkpoints. On two Blackwell (sm_120) GPUs both fail the developers' forward test (the 7B passes); on an RTX 5070 Ti the 40B's next-base accuracy is 25.7%, near guessing. Greater accuracy breaks them, as BioNeMo saw for the 40B on Hopper: natively, 99.996% of one projection's outputs are correctly rounded (H100: about 30%), and fp32 accumulation of the same operands fails. Our H100 FP8 GEMM emulator, mmaemu (bit-exact on captured 1B projections), localises the dependence to the 1B's first projection (of 21), where exact sums fail but pass when shrunk by the H100's 1.4% (measured in-sample), not 2.1%. The 40B fails with only its first projection native. Emulating only that projection, weights unchanged, raises 40B BRCA1 variant-classification AUROC from 0.434 to 0.869 (H100: 0.868) on the RTX 5070 Ti, despite a narrow forward-test miss, and 0.481 to 0.867 on an RTX PRO 6000. We tested one model family but not training origin; releases should specify reference arithmetic.
- Abstract（参考訳）: FP8フォーマットは、商品の総和ではなく、どのように値が格納されるかを指定する。
Evo 2はDNA言語モデルで、1Bと40Bのチェックポイントに対するHopper FP8要件を文書化している。
2つのBlackwell (sm_120) GPUでは、どちらも開発者の前方テスト(7Bパス)に失敗し、RTX 5070 Tiでは、40Bの次のベース精度は25.7%であり、ほぼ予想通りである。
BioNeMoがホッパーの40Bで見たように、1つのプロジェクションの出力の99.996%は正しく丸められ(H100:約30%)、同じオペランドのfp32の蓄積は失敗する。
我々のH100 FP8 GEMMエミュレータであるmmaemu (bit-exact on captured 1B projections)は、1Bの第1射影(21)への依存性をローカライズする。
40Bは最初のプロジェクションのみで失敗する。
この射影のみをエミュレートすると、重量は変化せず、RTX 5070 Tiでは0.434から0.869(H100:0.868)に、RTX PRO 6000では0.481から0.867に上昇する。
私たちは1つのモデルファミリをテストしましたが、起源はトレーニングしていません。
関連論文リスト
- Chinese Decision: A Family of Language Models for Single-Pass Probabilistic Decision-Making [1.8430422880689117]
中国語決定モデルのファミリーである中国語決定について述べる。
各質問は、共有された命令と候補のプロンプトにコンパイルされる。
単一のフォワードパスは、候補文字の最終配置ログを読み出し、有効なオプションでそれらを正規化する。
論文 参考訳（メタデータ） (2026-10-16T09:08:32Z) - Calibrated Answers About Randomized Trials From a 4-Billion-Parameter Open Model: A Registered Test and a License-Clean Release [0.0]
Fiorillo v0.5は、各回答の確率で型付き質問に答えるオープンモデルである。
その主要な専門家はランダム化裁判の論文を読み、6,144個のトークンにカットし、介入が著しく増加したかどうかを答える。
論文 参考訳（メタデータ） (2026-10-04T15:09:39Z) - Auditing System-1 Models on Biosecurity-Relevant Benchmarks: Calibration, Selective Prediction, and Permutation Instability in a Non-Generative Model [0.0]
System-1"モデルは、自己回帰復号化なしで単一の前方パスで構造化された確率的決定を返す。
精度,キャリブレーション,エラー検出,選択予測,および解答オプションが提示される順序に対する感度を測定する。
回転の平均確率は、WMDP-Cyberの精度を3.8ポイント向上させる。
論文 参考訳（メタデータ） (2026-09-24T18:46:53Z) - Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence in LLM Inference [13.137699166830322]
大規模言語モデルからのグレディ復号は、一般に決定論的として扱われる。
同一のモデル,プロンプト,デコードアルゴリズムは同一のハードウェア上で,BF16とFP16の異なる出力を生成する。
実験により,22層に蓄積したボディーエラーは,浮動小数点数と浮動小数点数とを区別しないことがわかった。
論文 参考訳（メタデータ） (2026-09-22T15:54:16Z) - Sampling headroom is not selection gain: a compute-value audit of test-time scaling for video world models [34.20907662027954]
テストタイムスケーリングは、より多くの計算がより良い候補を生成する場合にのみ生成を改善することができ、システムはそれらを確実に識別できる。
我々は,余分なサンプリングが機会を生み出すかどうかを問う連続的なフレームワークであるCompute-Value Audit(CVA)を紹介する。
192の物理IQのシーンでは、プールを4から16の候補に拡張すると、オラクルの品質は+9.23 IQ向上する。
12のアダプティブ・ディープス・ポリシーは、均一な計算よりも優れておらず、測定されたエントリー料金の42-69%しか回復しない。
論文 参考訳（メタデータ） (2026-09-06T06:11:15Z) - Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。
最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。
本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
論文 参考訳（メタデータ） (2026-09-02T10:30:05Z) - Quantization Effects on Biomedical LLM Reliability [7.3368947626054215]
PubMed文分類に基づく3つのMistral-7B変種(Base, BioMistral, Instruct)の制御評価を行った。
我々の主要な発見は、確率抽出プロトコルが明らかに校正を支配していることである。
プロンプトテンプレートの選択は、モデルレベルの効果に匹敵する7～24ポイントの精度差を生み出す。
論文 参考訳（メタデータ） (2026-08-04T15:57:21Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳（メタデータ） (2026-05-13T18:01:05Z) - BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。
3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。
全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
論文 参考訳（メタデータ） (2026-04-03T16:30:58Z) - Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。
我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。
全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
論文 参考訳（メタデータ） (2025-08-28T04:13:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。