論文の概要: Ensembling Language Models with Sequential Monte Carlo

• arxiv url: http://arxiv.org/abs/2603.05432v1
• Date: Thu, 05 Mar 2026 17:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.356914
• Title: Ensembling Language Models with Sequential Monte Carlo
• Title（参考訳）: 連続モンテカルロを用いた言語モデルの構築
• Authors: Robin Shing Moon Chan, Tianyu Liu, Samuel Kiegeland, Clemente Pasti, Jacob Hoover Vigly, Timothy J. O'Donnell, Ryan Cotterell, Tim Vieira,
• Abstract要約: 我々は、$K$の言語モデルを$f$のアンサンブル分布に構成するための統一的なフレームワークを導入する。 より優れた後部近似により、より優れたアンサンブル性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 48.149136054981334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Practitioners have access to an abundance of language models and prompting strategies for solving many language modeling tasks; yet prior work shows that modeling performance is highly sensitive to both choices. Classical machine learning ensembling techniques offer a principled approach: aggregate predictions from multiple sources to achieve better performance than any single one. However, applying ensembling to language models during decoding is challenging: naively aggregating next-token probabilities yields samples from a locally normalized, biased approximation of the generally intractable ensemble distribution over strings. In this work, we introduce a unified framework for composing $K$ language models into $f$-ensemble distributions for a wide range of functions $f\colon\mathbb{R}_{\geq 0}^{K}\to\mathbb{R}_{\geq 0}$. To sample from these distributions, we propose a byte-level sequential Monte Carlo (SMC) algorithm that operates in a shared character space, enabling ensembles of models with mismatching vocabularies and consistent sampling in the limit. We evaluate a family of $f$-ensembles across prompt and model combinations for various structured text generation tasks, highlighting the benefits of alternative aggregation strategies over traditional probability averaging, and showing that better posterior approximations can yield better ensemble performance.
• Abstract（参考訳）: 実践者は、多くの言語モデルにアクセスでき、多くの言語モデリングタスクを解くための戦略を促すことができるが、以前の研究は、モデリングのパフォーマンスが両方の選択に非常に敏感であることを示している。 古典的な機械学習のアンサンブル技術は、複数のソースからの予測を集約して、どのソースよりも優れたパフォーマンスを達成するという、原則化されたアプローチを提供する。 しかし、デコード中の言語モデルにアンサンブルを適用することは困難である。次の確率をナビゲートすることで、局所的に正規化され偏りのある文字列上の一般的な難解アンサンブル分布のサンプルが得られる。 そこで本研究では,さまざまな関数に対して,$K$言語モデルを$f$アンサンブル分布に構成するための統一フレームワークについて紹介する。 これらの分布から標本化するために,共有文字空間で動作するバイトレベル連続モンテカルロ (SMC) アルゴリズムを提案する。 我々は,様々な構造化テキスト生成タスクに対して,プロンプトとモデルの組み合わせにまたがる$f$-アンサンブルのファミリーを評価し,従来の確率平均よりも代替アグリゲーション戦略の利点を強調し,より優れた後部近似がより良いアンサンブル性能をもたらすことを示す。

関連論文リスト

• Probabilistic Token Alignment for Large Language Model Fusion [100.30692772017238]
  大規模言語モデル(LLM)をスクラッチからトレーニングすると、ユニークな機能と強みを持つモデルが得られるが、コストがかかり、しばしば冗長な機能をもたらす。 既存のモデル融合における重要な課題は、手動で定義された語彙のアライメントに依存することである。 PTA-LLM と呼ばれるアライメントのための一般およびソフトマッピングとして確率的トークンアライメント法を提案する。
  論文  参考訳（メタデータ） (2025-09-21T23:18:24Z)
• Dynamic Collaboration of Multi-Language Models based on Minimal Complete Semantic Units [29.79935180749153]
  本稿では,トークンレベルの多モデル協調による言語モデルの推論能力の向上について検討する。 分散距離に基づく動的選択戦略(DDS)を導入し,マルチモデル協調プロセスを最適化する。
  論文  参考訳（メタデータ） (2025-08-26T07:41:33Z)
• Large Language Model-Based Automatic Formulation for Stochastic Optimization Models [0.0]
  本稿では,大規模言語モデル(LLM)の性能に関する最初の総合的研究について述べる。 チェーン・オブ・シンキングとモジュール型推論を用いてChatGPTを構造化タスクでガイドするいくつかのプロンプトを設計する。 様々な問題に対して、GPT-4-Turboは部分スコア、変数マッチング、客観的精度で他のモデルよりも優れており、最も効果的なプロンプト戦略として cot_s_instructions が現れる。
  論文  参考訳（メタデータ） (2025-08-24T03:31:25Z)
• Syntactic Control of Language Models by Posterior Inference [53.823006836309695]
  言語モデルによって生成されたテキストの構文構造を制御することは、明快さ、スタイリスティックな一貫性、解釈可能性を必要とするアプリケーションにとって重要である。 後部推論に基づくサンプリングアルゴリズムは、生成中に対象の選挙区構造を効果的に強制することができると論じる。 提案手法では,提案分布からのサンプリングにより後続分布を推定するモンテカルロ法と,各生成したトークンが所望の構文構造に整合することを保証する統語タグを併用する。
  論文  参考訳（メタデータ） (2025-06-08T14:01:34Z)
• Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
  広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。 我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。 我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
  論文  参考訳（メタデータ） (2025-04-17T17:49:40Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• Token-level Ensembling of Models with Different Vocabularies [16.094010998574753]
  モデルアンサンブル(英: Model ensembling)は、2つ以上のモデルの予測分布を組み合わせる手法である。 本稿では,異なる語彙でモデルを組み立てる推論時間のみのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-28T17:41:27Z)
• Determine-Then-Ensemble: Necessity of Top-k Union for Large Language Model Ensembling [23.447466392929712]
  大規模言語モデル(LLM)は、様々なタスクに様々な長所と短所を示す。 既存のLLMアンサンブル法は、しばしばモデルの互換性を見落とし、確率の非効率なアライメントに苦しむ。 textscUnion textscTop-$k$ textscEnsembling (textscUniTE)は,各モデルから上位kトークンの結合に着目し,効率的にモデルを結合する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-10-03T08:42:38Z)
• CharED: Character-wise Ensemble Decoding for Large Language Models [24.993790740335243]
  本稿では,複数の大規模言語モデルから出力を"出力する"ことを目的とした推論時アンサンブルアルゴリズムを提案する。 提案モデルでは,語彙,トークン化,モデルサイズに関わらず,複数のLLMの補完的強度を組み合わせることができる。
  論文  参考訳（メタデータ） (2024-06-25T22:35:07Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Language Model Cascades [72.18809575261498]
  テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。 制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。 この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
  論文  参考訳（メタデータ） (2022-07-21T07:35:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。