論文の概要: FutureBridge: Token Selection Beyond Local Preference in Collaborative Decoding
- arxiv url: http://arxiv.org/abs/2608.06819v1
- Date: Fri, 07 Aug 2026 05:19:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.366452
- Title: FutureBridge: Token Selection Beyond Local Preference in Collaborative Decoding
- Title（参考訳）: FutureBridge:コラボレーティブなデコーディングにおける,ローカルな優先度を越えたトークン選択
- Abstract要約: トークンレベルのコラボレーションにより、予測が分岐するときに、大きな言語モデルが小さな言語モデルを支援することができる。
本稿では,LLM-SLMトークン候補をSLMのその後の推論をいかに支持するかに応じてランク付けするFutureBridgeについて紹介する。
- 参考スコア（独自算出の注目度）: 22.821312636429713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Token-level collaboration allows a large language model (LLM) to assist a small language model (SLM) when their predictions diverge. Existing methods either use LLM-generated intervention tokens or rank candidates with the LLM's next-token probabilities. Both rely on the LLM's local preference, even though an LLM-selected token may be difficult for the SLM to build on. We present FutureBridge, which ranks joint LLM-SLM token candidates according to how well they support the SLM's subsequent reasoning. During training, an answer-verified LLM trajectory supplies a fixed shared future, and a frozen SLM evaluates every candidate under this common context. The resulting counterfactual scores supervise a lightweight token reranker that observes only the current state and candidate token. At inference, FutureBridge uses the LLM only to expand the candidate pool, selects one token, and returns generation to the SLM without generating or appending a future suffix. Across five mathematical reasoning benchmarks, FutureBridge improves the Qwen3-1.7B SLM's Math Avg. by 35.1% relative to greedy SLM decoding. These results indicate that token selection benefits from modeling whether the receiving SLM can use each candidate to continue reasoning, rather than relying on the LLM's local preference alone.
- Abstract（参考訳）: トークンレベルのコラボレーションにより、予測が分岐すると、大きな言語モデル(LLM)が小さな言語モデル(SLM)を支援することができる。
既存の手法では、LSMの生成した介入トークンを使用するか、LSMの次の確率で候補をランク付けする。
どちらも LLM のローカルな好みに依存しているが、LSM が選択したトークンは SLM が構築するのは難しいかもしれない。
本稿では,LLM-SLMトークン候補をSLMのその後の推論をいかに支持するかに応じてランク付けするFutureBridgeについて紹介する。
トレーニング中、答え検証されたLLM軌道は固定された共有未来を提供し、凍結されたSLMは、この共通のコンテキスト下ですべての候補を評価する。
結果の反事実スコアは、現在の状態と候補トークンのみを観察する軽量トークンリランカを監督する。
推論では、FutureBridgeはLSMを使用して候補プールを拡張し、1つのトークンを選択し、将来の接尾辞を生成または追加することなくSLMに生成を返す。
5つの数学的推論ベンチマークで、FutureBridgeはQwen3-1.7B SLMのMath Avgを改善した。
greedy SLMデコードと比較して35.1%向上した。
これらの結果から, トークン選択は, LLMの局所的嗜好のみに頼るのではなく, 各候補を用いて推論を継続できるか否かをモデル化することの利点が示唆された。
関連論文リスト
- Select to Think: Unlocking SLM Potential with Local Sufficiency [12.573615247126204]
小規模言語モデル(SLM)は、スケーラブルなデプロイメントのための計算効率を提供するが、より大きな言語モデル(LLM)によって示される推論能力に欠けることが多い。
本稿では,SELECT TO THINK(S2T)を提案する。SLMに選択ロジックを蒸留し,推論時間に依存しない自律的な再ランク付けを実現する。
論文 参考訳（メタデータ） (2026-04-29T17:51:39Z) - Neural Bandit Based Optimal LLM Selection for a Pipeline of Tasks [11.389019661082415]
本稿では,各サブタスク上でLLMの成功をオンラインにモデル化するニューラルネットワークをトレーニングするニューラルネットワークのコンテキスト帯域ベースアルゴリズムを提案する。
通信質問応答と診断予測データセットの実験から,提案手法の有効性が示唆された。
論文 参考訳（メタデータ） (2025-08-13T17:19:41Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳（メタデータ） (2025-02-15T02:55:22Z) - Efficient Real-time Refinement of Language Model Text Generation [65.1937138219008]
大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な性能を示している。
重要な課題は、時に事実的に誤った答えを生じさせることである。
本稿では,LLM出力の検証と改善の効率化を目的とした新しい手法であるStreaming-VRを提案する。
論文 参考訳（メタデータ） (2025-01-14T03:59:48Z) - Uncertainty-Aware Hybrid Inference with On-Device Small and Remote Large Language Models [49.48313161005423]
ハイブリッド言語モデル(HLM)アーキテクチャは、モバイル端末で動作する小さな言語モデル(SLM)と、無線ネットワークの基地局(BS)にホストされる大きな言語モデル(LLM)を統合する。
HLMトークン生成プロセスは、投機的推論の原則に従っている: SLMの語彙分布はLSMにアップロードされ、LPMによって再サンプリングされる。
本研究では,不確実性を考慮したHLM (Uncertainty-aware opportunistic HLM) という新しいHLM構造を提案する。
論文 参考訳（メタデータ） (2024-12-17T09:08:18Z) - Decoding with Limited Teacher Supervision Requires Understanding When to Trust the Teacher [11.136112399898481]
小規模大規模言語モデル(LLM)は、LLMの監督を効果的に活用して、その生成品質を向上するにはどうすればよいのか?
我々は,初期トークン上でのLLMおよびLLM予測を効果的に集約するアルゴリズムを開発した。
提案手法は,従来の復号法よりも一貫した手法であることを示す。
論文 参考訳（メタデータ） (2024-06-26T01:16:12Z) - Looking Right is Sometimes Right: Investigating the Capabilities of Decoder-only LLMs for Sequence Labeling [0.0]
最近のデコーダのみの大規模言語モデル(LLM)は、より小さなステートベースのエンコーダと同等に動作する。
因果マスクを階層的に除去することで,IEタスク上でのオープンLLMのSL性能を向上させる手法について検討する。
その結果,層依存性CM除去によるオープンLCMは,強いエンコーダや命令調整LDMよりも優れていた。
論文 参考訳（メタデータ） (2024-01-25T22:50:48Z) - LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。
バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。
複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
論文 参考訳（メタデータ） (2024-01-02T18:30:51Z) - LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient
Querying [71.86163159193327]
大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。
この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。
第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
論文 参考訳（メタデータ） (2023-08-21T02:07:35Z) - PALR: Personalization Aware LLMs for Recommendation [7.407353565043918]
PALRは、ユーザ履歴の振る舞い(クリック、購入、評価など)と大きな言語モデル(LLM)を組み合わせることで、ユーザの好むアイテムを生成することを目的としている。
我々のソリューションは、様々なシーケンシャルなレコメンデーションタスクにおいて最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2023-05-12T17:21:33Z) - Transcormer: Transformer for Sentence Scoring with Sliding Language
Modeling [95.9542389945259]
文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。
文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
論文 参考訳（メタデータ） (2022-05-25T18:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。