論文の概要: Improving the Diversity of LLM Outputs without a Trade-off
- arxiv url: http://arxiv.org/abs/2609.33038v1
- Date: Sun, 27 Sep 2026 00:07:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 11:02:53.565984
- Title: Improving the Diversity of LLM Outputs without a Trade-off
- Title（参考訳）: トレードオフのないLCM出力の多様性向上
- Abstract要約: DAST(Diversifying Arithmetic Smpling with TokenTour)は, LLM出力の多様性を高める手法である。
トークンIDはしばしば無意味な順序で配置され、類似した意味を持つトークンが連続的に現れるように再割り当てされる。
この順序を算術的サンプリング(あるいは準モンテカルロ法)と組み合わせることで、分布を保ちながら実行中に類似のトークンが生成されにくくする。
- 参考スコア（独自算出の注目度）: 15.107423134754859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose DAST (Diversifying Arithmetic Sampling with TokenTour), a method that increases the diversity of LLM outputs without any change to the marginal distribution and with negligible generation-time overhead (a few microseconds). We observe that token IDs are often arranged in a meaningless order and reassign them so that tokens with similar meanings appear consecutively. This can be done in advance in a few hundred seconds per model, and the resulting order can be reused for all subsequent generations. By combining this order with arithmetic sampling (or quasi-Monte Carlo methods), we make similar tokens less likely to be generated across runs while preserving the distribution. Our method not only produces qualitatively good ideas but also significantly improves performance on the downstream task of ProtoQA.
- Abstract（参考訳）: DAST(Diversifying Arithmetic Smpling with TokenTour)は, LLM出力の多様性を限界分布に変化せずに向上し, 生成時間オーバーヘッド(数マイクロ秒)を無視できる手法である。
トークンIDはしばしば無意味な順序で配置され、類似した意味を持つトークンが連続的に現れるように再割り当てされる。
これは前もって1モデルあたり数百秒で実行でき、その結果の順序は次の世代すべてで再利用できる。
この順序を算術的サンプリング(あるいは準モンテカルロ法)と組み合わせることで、分布を保ちながら実行中に類似のトークンが生成されにくくする。
提案手法は質的に優れたアイデアを生成するだけでなく,ProtoQAの下流タスクの性能向上にも寄与する。
関連論文リスト
- Locally Confident, Globally Stuck: The Quality-Exploration Dilemma in Diffusion Language Models [52.61023005303122]
低信頼度再マッシングは、誘導配列分布のエントロピーを制約しながら、品質のプロキシを改善することを示す。
我々は,デコード時に,この分布をほぼ対象とする簡易なインディペンデント・ハスティングス・サンプリング器を開発した。
論文 参考訳（メタデータ） (2026-04-01T02:01:30Z) - DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。
DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
論文 参考訳（メタデータ） (2026-03-09T07:02:01Z) - Optimal Inference Schedules for Masked Diffusion Models [16.774584258255768]
マスク付き拡散モデル(MDM)は、順番に多くのトークンを同時に同時にサンプリングすることができる。
分布の事前知識が強くなければ、一般にそれと競合することは不可能であることを示す。
論文 参考訳（メタデータ） (2025-11-06T18:38:24Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳（メタデータ） (2025-08-27T15:40:25Z) - Text Generation Beyond Discrete Token Sampling [74.06071135207635]
入力の混合(Mixture of Inputs, MoI)は、自動回帰生成のためのトレーニング不要な方法である。
MoIはQwQ-32B、Nemotron-Super-49B、Gemma-3-27B、DAPO-Qwen-32Bを含む複数のモデルのパフォーマンスを継続的に改善している。
論文 参考訳（メタデータ） (2025-05-20T18:41:46Z) - EMS-SD: Efficient Multi-sample Speculative Decoding for Accelerating Large Language Models [40.651650382105636]
Vanillaメソッドは、サンプル間で新しいトークンの数が一貫していることを保証するために、パディングトークンを追加する。
本稿では,メモリや計算のオーバーヘッドを増大させることなく,異なるサンプルで受け入れられる不整合トークンの問題を解決する手法を提案する。
提案手法は, パディングトークンを追加することなく, 異なるサンプルの予測トークンが矛盾する状況に対処できる。
論文 参考訳（メタデータ） (2024-05-13T08:24:21Z) - Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。