論文の概要: Sketchpad: certified exact arithmetic with a small vision-language model

• arxiv url: http://arxiv.org/abs/2611.04434v1
• Date: Tue, 03 Nov 2026 07:25:42 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:30:02.902871
• Title: Sketchpad: certified exact arithmetic with a small vision-language model
• Title（参考訳）: Sketchpad:小さな視覚言語モデルで認定された正確な算術
• Abstract要約: 各ステップが外部メモリの境界ビューのみを読み取ると、全ての入力長の精度がネットワークの有限でチェック可能な特性となることを示す。 認定されたモデルは、符号付き加算と減算、長い乗算と除算、平方根、最大共通因子を任意の長さで実行する。
• 参考スコア（独自算出の注目度）: 0.21485350418225238
• License:
• Abstract: Language models are accurate on most long-arithmetic problems, but their accuracy is estimated on samples and carries no guarantee for an unseen input; tool use is exact but moves the computation outside the network. We show that exactness at all input lengths becomes a finite, checkable property of a network when each of its steps reads only a bounded view of an external working memory. In Sketchpad, Qwen3.5-0.8B with a low-rank adapter executes arithmetic procedures on a rendered sheet. Each forward pass reads a three-cell view and emits one step: a digit, a carry or borrow, and the next operation. A fixed runtime moves the view and writes no digit of a result. We prove in Lean that the model is then exact on all inputs of any length if and only if it is exact on the finite set of views the runtime presents, that no finite test suffices when steps also read earlier steps, and that the guarantee tolerates bounded numerical perturbation and extends to compositions of procedures. All 2,446 views pass on the deployment device, a laptop GPU running the model in a web browser. The certified model performs signed addition and subtraction, long multiplication and division, square roots and greatest common divisors at arbitrary length. It solved 200 of 200 pre-registered problems in the browser, and 220 of 220 sums of up to 1,000 digits and products of up to 20 digits, of which GPT-6.1 Sol, the strongest of ten other models, solved 217. A symbolic runtime built on these procedures solves, expands and factors polynomials with every number computed by the model, and a multiplicative gate on the adapter recovers the base model exactly when the sheet is not in use.
• Abstract（参考訳）: 言語モデルは、ほとんどの長期的問題において正確であるが、その正確さはサンプルに基づいて推定され、見つからない入力の保証は持たない。 各ステップが外部ワーキングメモリの境界ビューのみを読み取ると、全ての入力長の精度がネットワークの有限でチェック可能な特性となることを示す。 Sketchpadでは、低ランクのアダプタを持つQwen3.5-0.8Bが描画シート上で演算手順を実行する。 各フォワードパスは3セルビューを読み出し、桁、キャリーまたは借り出し、次の操作の1ステップを出力する。 固定されたランタイムがビューを移動し、結果の桁を書かない。 Leanでは、モデルが任意の長さのすべての入力に対して正確であること、それが実行時のビューの有限セットに正確であること、ステップが前もって読み上げられた場合に有限のテストが十分でないこと、保証が有界な数値摂動を許容し、プロシージャの構成にまで拡張すること、が証明されています。 2,446ビューはすべて、Webブラウザでモデルを実行するラップトップGPUであるデプロイメントデバイスに渡される。 認定されたモデルは、符号付き加算と減算、長い乗算と除算、平方根、最大共通因子を任意の長さで実行する。 ブラウザで200の事前登録された問題の内200を解決し、最大1000桁の220の合計と最大20桁の製品のうち220の合計を解き、そのうち10モデルの中で最強のGPT-6.1 Solは217を解いた。 これらのプロシージャ上に構築されたシンボリックランタイムは、モデルによって計算された各数で多項式を解き、拡張し、ファクタし、アダプタ上の乗算ゲートは、シートが使用されていない場合に正確にベースモデルを復元する。

関連論文リスト

• Pretraining and adapting a language model on a dependency-free stack: GPT-2 124M from random weights, reproduced against llm.c, and a clinical adapter for Qwen3-0.6B [0.0]
  numbatは、Zigで記述された機械学習スタックで、サードパーティのランタイム依存関係はない。 我々は、ウェブテキストの9.91Bトークンのランダム初期化から124.4MパラメータGPT-2をトレーニングし、その後、個別の小さなモデルを適用して臨床質問応答を監督する。 参照実装は、両方の段階で同じハードウェア上で動作し、それぞれを停止する権限を持つサイドカーである。
  論文  参考訳（メタデータ） (2026-09-23T11:28:02Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Multiplication in Multimodal LLMs: Computation with Text, Image, and Audio Inputs [0.8129517423858409]
  マルチモーダル LLM は、モダリティをまたいだ数値内容を正確に知覚できるが、正確なマルチ桁乗算はできない。 本稿では,桁長,桁幅,表現を因子的に変化させるマルチモーダル乗法ベンチマークを提案する。 また、算術負荷 C を総桁数と非ゼロ桁数の積として定義する。
  論文  参考訳（メタデータ） (2026-04-20T12:52:07Z)
• Transformers know more than they can tell -- Learning the Collatz sequence [14.743042834601226]
  長いコラッツステップの変圧器予測について検討する。 複素算術関数は奇数の整数を遠い後継者に写像する。 ベースに関係なく、すべてのモデルは共通の学習パターンに従います。
  論文  参考訳（メタデータ） (2025-11-13T21:23:24Z)
• ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
  本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。 ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。 我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T15:11:40Z)
• Autoregressive Large Language Models are Computationally Universal [59.34397993748194]
  変換器に基づく言語モデルの自己回帰復号化により,普遍計算が実現可能であることを示す。 まず、2027年の生産規則を持つラグシステムにより、普遍チューリングマシンをシミュレートできることを示す。 我々は、チャーチ・チューリングの論文により、拡張自己回帰(greedy)復号化によるgemini-1.5-pro-001が汎用コンピュータであると結論付けた。
  論文  参考訳（メタデータ） (2024-10-04T06:05:17Z)
• How to Leverage Digit Embeddings to Represent Numbers? [13.880400817682059]
  数値推論において、数自体を理解することは、既存の言語モデルにとって依然として課題である。 数字の文字レベルの埋め込みは、数値表現を改善するための有望なアプローチとして現れている。 我々は、数値的な先行計算を用いて、集約された桁埋め込みを計算し、これらの集合をトランスフォーマーモデルに明示的に組み込む。
  論文  参考訳（メタデータ） (2024-07-01T01:31:41Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。