論文の概要: Gumbel-max List Sampling for Distribution Coupling with Multiple Samples

• arxiv url: http://arxiv.org/abs/2506.05632v2
• Date: Tue, 10 Jun 2025 16:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 12:52:34.275499
• Title: Gumbel-max List Sampling for Distribution Coupling with Multiple Samples
• Title（参考訳）: 複数サンプルによる分散結合のためのGumbel-maxリストサンプリング
• Authors: Joseph Rowan, Buu Phan, Ashish Khisti,
• Abstract要約: そこで本研究では,SpecTrやSpecInferといったベースラインと競合する性能を実現し,実装が容易な投機的サンプリングのための新しいメカニズムを開発した。 我々は、ソースサンプルを圧縮し、複数のデコーダで利用できる設定において、サイド情報による分散損失圧縮を考察する。
• 参考スコア（独自算出の注目度）: 19.059328123272028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study a relaxation of the problem of coupling probability distributions -- a list of samples is generated from one distribution and an accept is declared if any one of these samples is identical to the sample generated from the other distribution. We propose a novel method for generating samples, which extends the Gumbel-max sampling suggested in Daliri et al. (arXiv:2408.07978) for coupling probability distributions. We also establish a corresponding lower bound on the acceptance probability, which we call the list matching lemma. We next discuss two applications of our setup. First, we develop a new mechanism for multi-draft speculative sampling that is simple to implement and achieves performance competitive with baselines such as SpecTr and SpecInfer across a range of language tasks. Our method also guarantees a certain degree of drafter invariance with respect to the output tokens which is not supported by existing schemes. We also provide a theoretical lower bound on the token level acceptance probability. As our second application, we consider distributed lossy compression with side information in a setting where a source sample is compressed and available to multiple decoders, each with independent side information. We propose a compression technique that is based on our generalization of Gumbel-max sampling and show that it provides significant gains in experiments involving synthetic Gaussian sources and the MNIST image dataset.
• Abstract（参考訳）: 一方の分布からサンプルのリストが生成され、一方のサンプルが他方の分布から生成されたサンプルと同一であれば、アクセプションが宣言される。 本稿では,結合確率分布に対するDaliri et al (arXiv:2408.07978) で提案される Gumbel-max サンプリングを拡張した新しいサンプル生成法を提案する。 また、受理確率の対応する下限を定め、リストマッチング補題(List matching lemma)と呼ぶ。 次に、セットアップの2つの応用について論じます。 まず,複数の言語タスクにまたがって,SpecTrやSpecInferといったベースラインと競合する性能を実現し,実装が容易なマルチドラフト投機サンプリングのための新しいメカニズムを提案する。 提案手法は,既存のスキームではサポートされていない出力トークンに対して,ある程度のドラフトラ不変性を保証する。 また,トークンレベルの受容確率を理論的に低くする。 第2のアプリケーションとして、ソースサンプルを圧縮して複数のデコーダに公開し、それぞれ独立したサイド情報を持つ設定において、サイド情報による分散損失圧縮を検討する。 本稿では,Gumbel-maxサンプリングの一般化に基づく圧縮手法を提案し,合成ガウス音源とMNIST画像データセットを含む実験において大きな効果が得られたことを示す。

関連論文リスト

• Multi-Draft Speculative Sampling: Canonical Decomposition and Theoretical Limits [26.220189807865548]
  提案手法は,異なるドラフトモデルから独立して提案シーケンスをサンプリングするマルチドラフト・投機的サンプリングについて検討する。 最適スキームを2段階の解に分解できることを示す。
  論文  参考訳（メタデータ） (2024-10-23T19:28:34Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Controllable Generation via Locally Constrained Resampling [77.48624621592523]
  本研究では, ベイズ条件付けを行い, 制約条件下でサンプルを描画する, トラクタブルな確率的手法を提案する。 提案手法はシーケンス全体を考慮し,現行のグリード法よりも大域的に最適に制約された生成を導出する。 提案手法は, 有害な世代からモデル出力を分離し, 脱毒化に対する同様のアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T00:49:53Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• Sampling from Discrete Energy-Based Models with Quality/Efficiency Trade-offs [3.491202838583993]
  エネルギーベースモデル(EBM)は、確率分布の非常に柔軟な仕様を可能にする。 これらの分布から正確なサンプルを得るためのメカニズムは提供されていない。 そこで本研究では,サンプリング効率とサンプリング品質のトレードオフを可能にする,新しい近似サンプリング手法であるQuasi Rejection Smpling (QRS)を提案する。
  論文  参考訳（メタデータ） (2021-12-10T17:51:37Z)
• Uncorrelated problem-specific samples of quantum states from zero-mean Wishart distributions [4.289102530380288]
  量子状態空間からサンプリングする2段階のアルゴリズムを提案する。 量子状態に対するウィッシュアート分布の明示的な形式を確立する。 このサンプリングアルゴリズムは1量子状態と2量子状態に対して非常に効率的であり、3量子状態に対しては合理的に効率的であることを示す。
  論文  参考訳（メタデータ） (2021-06-16T03:06:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。