論文の概要: One Size Does Not Fit All: Setting Inference Depth from the Questions a Deployment Actually Asks

• arxiv url: http://arxiv.org/abs/2609.14144v1
• Date: Sat, 12 Sep 2026 20:49:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.71178
• Title: One Size Does Not Fit All: Setting Inference Depth from the Questions a Deployment Actually Asks
• Title（参考訳）: One Sizeがすべてに適合しない: デプロイが実際に要求する質問から推論の深さを設定する
• Abstract要約: 本稿では,事前にプロンプトの範囲が分かっている場合に,そのコストのどれだけが避けられるかを測定する。 モデルは凍結されており、使用されている唯一の監督は、通常のトラフィックに対するモデル自身の出力である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A transformer language model is trained to respond to any prompt, but each deployment asks only a narrow range of questions: a support assistant sees delivery complaints, a coding tool sees Python. Every deployment nonetheless pays the same computation per token. This paper measures how much of that cost is avoidable when the range of prompts is known in advance. The mechanism examined is early exit: a small, trained component - called a readout - is attached to an intermediate layer and proposes a token, and a confidence test decides whether to emit it or to run the remaining layers. The models are frozen, and the only supervision used is the model's own output on ordinary traffic. Three findings are reported. First, achievable savings depend strongly on the kind of traffic: at half depth on a 1.5-billion-parameter model, 96 percent of tokens could be emitted early for arithmetic word problems and 8 percent for Chinese-language explanations, at matched token-level fidelity to the full model (a measure whose limits the third finding exposes). Second, of three ways a deployment might use knowledge of its traffic, only customizing the threshold for exiting early is worthwhile: calibrating it per deployment raised exit rates by up to 59 percentage points across three models, and by more than 10 points on most corpora tested. Third, token-level fidelity - the standard evaluation measure in the early-exit literature - fails in domains where tokens can be checked against ground truth: on arithmetic word problems, three models each answered sixty questions correctly when run in full, and between 10 and 28 correctly under early exit, in the configuration that scored highest on fidelity. The intended setting is small models on personal devices, where generation is limited by memory bandwidth rather than computation.
• Abstract（参考訳）: トランスフォーマー言語モデルは、任意のプロンプトに対応するようにトレーニングされているが、各デプロイメントでは、限定的な質問しか求めていない。 にもかかわらず、各デプロイメントはトークンごとに同じ計算を支払う。 本稿では,事前にプロンプトの範囲が分かっている場合に,そのコストのどれだけが避けられるかを測定する。 調査されたメカニズムは、早期終了である。 中間層に小さなトレーニング済みのコンポーネント(readoutと呼ばれる)がアタッチされ、トークンが提案され、信頼性テストが出力するか、残りのレイヤを実行するかを判断する。 モデルは凍結されており、使用されている唯一の監督は、通常のトラフィックに対するモデル自身の出力である。 3つの発見が報告されている。 まず、達成可能な貯蓄はトラフィックの種類に強く依存する:1.5ビリオンパラメータモデルで半分の深さで、算術的な単語問題に対して96%のトークンが早期に放出され、中国語の説明では8%のトークンレベルがフルモデルにマッチする(第3の発見が露出する制限)。 第2に、デプロイメントがトラフィックに関する知識を使用する場合、3つのモデルで最大59ポイント、テストされたほとんどのコーパスで10ポイント以上のエグジット率を向上する。 第3に,トークンレベルの忠実さ – 初期の文献における標準的な評価尺度 – は,トークンが真理に対してチェック可能なドメインで失敗する – 算術語問題では,各モデルがフル実行時に60問,早期終了時には10～28問,忠実度が最も高い設定では,それぞれが60問を正解する。 意図された設定はパーソナルデバイス上の小さなモデルであり、生成は計算ではなくメモリ帯域幅によって制限される。

関連論文リスト

• Verification-Aware Training for Speculative Decoding [57.84976863792784]
  VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。 VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。 VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
  論文  参考訳（メタデータ） (2026-08-31T01:42:10Z)
• Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
  大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。 小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。 本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
  論文  参考訳（メタデータ） (2026-07-19T15:01:35Z)
• One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions [0.0]
  APIアグリゲータ、再販業者、推論プロバイダは、大きな言語モデル(LLM)を使用する。 既存の識別技術には、長いテキスト、トークンレベルのログ確率、反対に作られたプロンプト、またはモデル所有者の協力が必要である。 我々は,LLMの行動指紋を,自明なワンワードプロンプトに対する応答の実証的分布として定義する。
  論文  参考訳（メタデータ） (2026-07-11T10:34:17Z)
• SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference [6.978795233982147]
  SPORKは推測されたツールコールを早期にディスパッチし、残りのチェーン・オブ・ソート・デコードでその実行を重複させる。 SPORKは、推測されたツールコールを早期にディスパッチする、トレーニング不要のコントローラである。
  論文  参考訳（メタデータ） (2026-07-03T13:51:32Z)
• A Verifiable Search Is Not a Learnable Chain-of-Thought [0.0]
  短いプログラムで解けるタスクは、そのチェーン・オブ・ソートとしてモデルに教えられると仮定する傾向にある。 本稿では,特定可能な手続きのクラスに対して仮定が失敗することを示す。
  論文  参考訳（メタデータ） (2026-06-20T04:52:14Z)
• PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
  PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。 各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。 PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
  論文  参考訳（メタデータ） (2026-05-13T18:01:05Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。