論文の概要: Composable Decoding on the Probability Simplex: Theory and Implementation

• arxiv url: http://arxiv.org/abs/2609.34992v1
• Date: Mon, 28 Sep 2026 12:02:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 18:04:36.912266
• Title: Composable Decoding on the Probability Simplex: Theory and Implementation
• Title（参考訳）: Probability Simplexの合成可能デコード:理論と実装
• Abstract要約: 確率単純度上の次トーケン分布に対する最適化問題としてデコーディングを定式化する。 このビューは、正規化とサポート制約の選択を通じて、よく知られた復号法を復元する。 これにより、単一最適化問題内で分布選好を構成することで、新しいデコーダを構築することができる。
• 参考スコア（独自算出の注目度）: 13.653054459848347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding for large language models is typically treated as a collection of isolated sampling strategies, with limited theoretical understanding of the behaviours they induce and how their underlying objectives relate. We formulate decoding as an optimisation problem over next-token distributions on the probability simplex, balancing expected model score against regularisation under support constraints. This view recovers familiar decoding methods through choices of regularisers and support constraints; more importantly, it enables new decoders to be constructed by composing distributional preferences within a single optimisation problem without external rewards, learned critics, or model parameter updates. We introduce CompoSimplex, a library with configurable support rules, regularisation primitives, and simplex solvers for constructing and evaluating compositional decoders. We evaluate standard samplers, individual regularisers, and compositions across multiple models and reasoning tasks. Our results show that compositions can realise trade-offs between single-sample quality, multi-sample quality, and diversity that are not attained by individual decoding objectives.
• Abstract（参考訳）: 大規模言語モデルの復号化は、典型的には孤立したサンプリング戦略の集合として扱われ、それらが引き起こす振る舞いと、その基礎となる目的がどのように関係するかを理論的に限定的に理解する。 確率単純度に基づく次トーケン分布の最適化問題としてデコーディングを定式化し、サポート制約下での正規化に対する予測モデルスコアのバランスをとる。 より重要なのは、外部の報酬や学習評論家、モデルパラメータの更新なしに、単一最適化問題内に分散優先度を構成することで、新しいデコーダを構築することができることだ。 構成可能なサポートルール,正規化プリミティブ,コンポジションデコーダの構築と評価を行うシンプルなデコーダを備えたライブラリであるCompoSimplexを紹介する。 我々は,複数のモデルおよび推論タスクの標準サンプル,個別正規化器,構成品を評価する。 この結果から,個々のデコード目的によって達成されない単一サンプル品質,マルチサンプル品質,多様性のトレードオフを実現することが可能であることが示唆された。

関連論文リスト

• Position: It's Time to Optimize LLMs for Self-Consistency [50.68587056599734]
  多くの重要な障害は、事前および後トレーニングパイプラインの言語モデルに持続する。 これらの失敗は、パイプラインのすべての側面に浸透するモデリングの前提から生じます。 これらの失敗を理解するためのフレームワークとして,自己整合性を提案する。
  論文  参考訳（メタデータ） (2026-07-31T19:16:53Z)
• Uncertainty-Aware and Decoder-Aligned Learning for Video Summarization [0.0]
  ビデオ要約の目的は、時間的に重要なセグメントのサブセットを選択することで、長いビデオのコンパクトな表現を作ることである。 この課題は、強い注釈主観性と離散復号法に依存するため本質的に困難である。 本稿では,ビデオ要約のための不確実性とデコーダ対応の学習フレームワークであるVASTSumを提案する。
  論文  参考訳（メタデータ） (2026-05-10T12:31:02Z)
• Multi-Action Self-Improvement for Neural Combinatorial Optimization [0.979731979071071]
  自己改善モデルは、高品質なソリューションの生成と模倣によってポリシーを反復的に洗練する。 これらのアプローチは、複数のエージェントの協調に関わる問題の構造を活用できない。 共同マルチエージェント動作による自己改善を拡大する。
  論文  参考訳（メタデータ） (2025-10-14T08:26:27Z)
• Speculative Decoding for Multi-Sample Inference [21.64693536216534]
  マルチサンプル推論シナリオに適した新しい投機的復号法を提案する。 提案手法は並列生成経路の本質的なコンセンサスを利用して高品質なドラフトトークンを合成する。
  論文  参考訳（メタデータ） (2025-03-07T11:15:36Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• LLM4Rerank: LLM-based Auto-Reranking Framework for Recommendations [51.76373105981212]
  リグレードはレコメンデーションシステムにおいて重要な要素であり、レコメンデーションアルゴリズムの出力を精査する上で重要な役割を果たす。 そこで我々は,様々な格付け基準をシームレスに統合する包括的格付けフレームワークを提案する。 カスタマイズ可能な入力機構も統合されており、言語モデルのフォーカスを特定の再配置のニーズに合わせることができる。
  論文  参考訳（メタデータ） (2024-06-18T09:29:18Z)
• R-U-SURE? Uncertainty-Aware Code Suggestions By Maximizing Utility Across Random User Intents [14.455036827804541]
  大規模言語モデルは、コードのような構造化されたテキストを予測する上で印象的な結果を示すが、一般的にはエラーや幻覚を出力に導入する。 ランダム化ユーティリティ駆動型不確実領域合成(R-U-SURE)を提案する。 R-U-SUREは、ゴール条件付きユーティリティの意思決定理論モデルに基づく不確実性を考慮した提案を構築するためのアプローチである。
  論文  参考訳（メタデータ） (2023-03-01T18:46:40Z)
• Calibrating Over-Parametrized Simulation Models: A Framework via Eligibility Set [3.862247454265944]
  厳密な頻繁な統計的保証を満たす校正手法を開発するための枠組みを開発する。 本手法は,書籍市場シミュレータのキャリブレーションへの応用を含む,いくつかの数値例で実証する。
  論文  参考訳（メタデータ） (2021-05-27T00:59:29Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。