論文の概要: Multiple Importance Sampling for Guided Speculative Inference

• arxiv url: http://arxiv.org/abs/2610.33368v1
• Date: Fri, 23 Oct 2026 23:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.313417
• Title: Multiple Importance Sampling for Guided Speculative Inference
• Title（参考訳）: 誘導投機推論のための多重重要サンプリング
• Abstract要約: 本稿では,多様な提案分布の集合からサンプルを集約する重み付け手法を提案する。 我々は、最適の報奨型目標分布と期待される報奨劣化から、KLの分岐に新たな境界を与える。 GSIと1つのよく訓練されたドラフト機を比べると、複数の異なるLCMを組み合わせて同じ数のサンプルを保有し、競争力のあるパス・アット・N$のダウンストリーム性能を維持している。
• 参考スコア（独自算出の注目度）: 3.2637270397208824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study an extension of the Guided Speculative Inference (GSI) algorithm for test-time-scaling of large language models (LLMs) to a novel setting where an ensemble of smaller LLMs proposes draft reasoning steps which are later verified by a larger base model and a process reward model. Using the established framework of multiple importance sampling (MIS), we introduce weighting schemes to aggregate samples from a diverse collection of proposal distributions. We provide new bounds on the KL divergence from the optimal reward-tilted target distribution and the expected reward degradation, then demonstrate that the well-known balance heuristic is optimal. Compared to GSI with a single well-tuned drafter, combining several diverse LLMs while retaining the same total number of samples maintains competitive pass-at-$N$ downstream performance while being mathematically robust to situations where the support of a single draft model does not cover that of the target, where GSI may fail.
• Abstract（参考訳）: 我々は,大規模言語モデル(LLM)のテスト時間スケーリングのためのGSIアルゴリズムを,より小さなLLMのアンサンブルが,後により大きなベースモデルとプロセス報酬モデルによって検証されるドラフト推論ステップを提案する新しい環境に拡張することを検討した。 複数重要サンプリング(MIS)の確立された枠組みを用いて,多様な提案分布の集合からサンプルを集約する重み付け手法を提案する。 我々は、最適の報奨型目標分布と期待される報奨劣化からKLの分岐に対する新たな境界を与え、よく知られたバランスヒューリスティックが最適であることを証明した。 GSIと1つのよく訓練されたドラフト機を比べると、同じサンプル数を維持しながら複数の異なるLCMを組み合わせて、競争力のあるパス・アット・N$ダウンストリームのパフォーマンスを維持しつつ、単一のドラフトモデルのサポートがターゲットのそれをカバーすることができず、GSIが失敗する可能性がある状況に対して数学的に堅牢である。

関連論文リスト

• ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
  ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。 候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-08-25T11:25:55Z)
• REATS: LLM Reasoning-based Ensemble Learning for Adaptive Time Series Forecasting [33.69887280643071]
  本稿では,時間的パターン記述と数値特徴を処理し,解釈可能なアンサンブル重みを生成するREATSを提案する。 8つのベンチマークの実験では、REATSは競争力のあるアンサンブルベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-08-10T19:04:46Z)
• From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space [78.36537400975298]
  グループ相対政策最適化(GRPO)は、テキスト・ツー・イメージ(T2I)フローモデルにおいて、優先順位調整のための強力なフレームワークとして登場した。 条件空間を拡大することで関係探索を強化する新しい手法であるMulti-View GRPOを提案する。 MV-GRPOは最先端手法よりも優れたアライメント性能を実現する。
  論文  参考訳（メタデータ） (2026-03-13T04:35:13Z)
• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• Learning to Reason in LLMs by Expectation Maximization [55.721496945401846]
  我々は推論を潜在変数モデルとして定式化し、推論を学ぶための期待最大化目標を導出する。 この見解はEMと現代の報酬に基づく最適化を結びつけるものであり、正しい答えを正当化する有理性を生成するサンプリング分布を設計することの主な課題であることを示している。
  論文  参考訳（メタデータ） (2025-12-23T08:56:49Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Quantifying Prediction Consistency Under Fine-Tuning Multiplicity in Tabular LLMs [10.494477811252034]
  微調整多重度は分類タスクにおけるタブラル LLM に現れる。 我々の研究は、タブラルLLMにおける微調整多重性というこのユニークな挑戦を定式化する。 本稿では,コストのかかるモデル再訓練を伴わずに,個々の予測の一貫性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:22:09Z)
• Distribution-Dependent Rates for Multi-Distribution Learning [26.38831409926518]
  最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。 我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。 適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
  論文  参考訳（メタデータ） (2023-12-20T15:50:16Z)
• LSB: Local Self-Balancing MCMC in Discrete Spaces [2.385916960125935]
  本研究は、純粋に離散的な領域におけるサンプリング効率を向上させるために、機械学習を用いて提案された分布をターゲットに適応させることを検討する。 得られたサンプルをLSB(Locally Self-Balancing Sampler)と呼ぶ。
  論文  参考訳（メタデータ） (2021-09-08T18:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。