論文の概要: AdaFuse: Adaptive Ensemble Decoding with Test-Time Scaling for LLMs

• arxiv url: http://arxiv.org/abs/2601.06022v1
• Date: Fri, 09 Jan 2026 18:58:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:50.076916
• Title: AdaFuse: Adaptive Ensemble Decoding with Test-Time Scaling for LLMs
• Title（参考訳）: AdaFuse: LLMのテスト時間スケーリングによる適応型アンサンブルデコーディング
• Authors: Chengming Cui, Tianxin Wei, Ziyi Chen, Ruizhong Qiu, Zhichen Zeng, Zhining Liu, Xuying Ning, Duo Zhou, Jingrui He,
• Abstract要約: 推論時のアンサンブルは、大規模な言語モデル機能を再訓練せずに組み合わせる実用的な方法を提供する。 生成時に意味的に適切な融合単位を動的に選択する適応型アンサンブルデコーディングフレームワークであるAdaFuseを提案する。 AdaFuseは一貫して強力なアンサンブルベースラインを上回り、6.88%の平均的な相対的な改善を達成している。
• 参考スコア（独自算出の注目度）: 46.52320938421707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit complementary strengths arising from differences in pretraining data, model architectures, and decoding behaviors. Inference-time ensembling provides a practical way to combine these capabilities without retraining. However, existing ensemble approaches suffer from fundamental limitations. Most rely on fixed fusion granularity, which lacks the flexibility required for mid-generation adaptation and fails to adapt to different generation characteristics across tasks. To address these challenges, we propose AdaFuse, an adaptive ensemble decoding framework that dynamically selects semantically appropriate fusion units during generation. Rather than committing to a fixed granularity, AdaFuse adjusts fusion behavior on the fly based on the decoding context, with words serving as basic building blocks for alignment. To be specific, we introduce an uncertainty-based criterion to decide whether to apply ensembling at each decoding step. Under confident decoding states, the model continues generation directly. In less certain states, AdaFuse invokes a diversity-aware scaling strategy to explore alternative candidate continuations and inform ensemble decisions. This design establishes a synergistic interaction between adaptive ensembling and test-time scaling, where ensemble decisions guide targeted exploration, and the resulting diversity in turn strengthens ensemble quality. Experiments on open-domain question answering, arithmetic reasoning, and machine translation demonstrate that AdaFuse consistently outperforms strong ensemble baselines, achieving an average relative improvement of 6.88%. The code is available at https://github.com/CCM0111/AdaFuse.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前学習データ、モデルアーキテクチャ、復号化動作の違いに起因する相補的な強みを示す。 推論時のアンサンブルは、これらの機能を再トレーニングせずに組み合わせる実用的な方法を提供する。 しかし、既存のアンサンブルアプローチは基本的な制限に悩まされている。 たいていは固定核融合の粒度に依存しており、これは中世代の適応に必要な柔軟性に欠けており、タスク間で異なる生成特性に適応できない。 これらの課題に対処するために,AdaFuseを提案する。AdaFuseは,生成時に意味的に適切な融合単位を動的に選択する適応型アンサンブルデコーディングフレームワークである。 一定の粒度にコミットするのではなく、AdaFuseはデコードコンテキストに基づいて融合挙動を調整し、単語はアライメントのための基本的なビルディングブロックとして機能する。 具体的には、各デコードステップにアンサンブルを適用するかどうかを決定するために、不確実性に基づく基準を導入する。 自信のある復号状態の下では、モデルは直接生成される。 少数の州では、AdaFuseは多様性を意識したスケーリング戦略を導入して、代替候補の継続を探索し、アンサンブル決定を通知する。 この設計は、適応的なアンサンブルとテスト時間スケーリングの相乗的相互作用を確立し、そこではアンサンブル決定が対象探索をガイドし、その結果の多様性がアンサンブルの品質を強化する。 オープンドメインの質問応答、算術的推論、機械翻訳の実験は、AdaFuseが一貫して強力なアンサンブルベースラインを上回り、6.88%の平均相対的な改善を達成していることを示している。 コードはhttps://github.com/CCM0111/AdaFuse.comで入手できる。

関連論文リスト

• ACD-CLIP: Decoupling Representation and Dynamic Fusion for Zero-Shot Anomaly Detection [21.26826497960086]
  ゼロショット異常検出(ZSAD)によるVLMの事前訓練 パラメータ効率のよい畳み込み型低ランク適応 (Conv-LoRA) アダプタを提案する。 また、テキストプロンプトを適応的に変調するために視覚的コンテキストを活用する動的フュージョンゲートウェイ(DFG)を導入する。
  論文  参考訳（メタデータ） (2025-08-11T10:03:45Z)
• Unified modality separation: A vision-language framework for unsupervised domain adaptation [60.8391821117794]
  教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインでトレーニングされたモデルが新しいラベル付きドメインを扱うことを可能にする。 本稿では,モダリティ固有成分とモダリティ不変成分の両方に対応可能な統一モダリティ分離フレームワークを提案する。 提案手法は,9倍の計算効率で最大9%の性能向上を実現している。
  論文  参考訳（メタデータ） (2025-08-07T02:51:10Z)
• Uncertainty-driven Embedding Convolution [16.523816971857787]
  不確実性駆動型埋め込み畳み込み(UEC)を提案する。 UECは決定論的埋め込みをポストホックな方法で確率論的に変換する。 その後、埋め込みの不確実性に基づいて適応アンサンブル重みを計算する。
  論文  参考訳（メタデータ） (2025-07-28T11:15:25Z)
• MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging [29.58798660724693]
  連続モデルマージは、オリジナルのトレーニングデータにアクセスすることなく、独立して微調整されたモデルを順次統合する。 テスト時間連続モデルマージの新しいフレームワークであるMINGLEを提案する。 MINGLEは堅牢な一般化を実現し、忘れることを大幅に減らし、従来の最先端の手法を平均で7-9%上回っている。
  論文  参考訳（メタデータ） (2025-05-17T07:24:22Z)
• Generate, Discriminate, Evolve: Enhancing Context Faithfulness via Fine-Grained Sentence-Level Self-Evolution [61.80716438091887]
  GenDiE (Generate, Discriminate, Evolve) は、微粒な文レベルの最適化によって文脈忠実性を高める新しい自己進化フレームワークである。 応答中の各文を独立した最適化単位として扱うことで、GenDiEは以前のアプローチの限界に効果的に対処する。 ASQA(ドメイン内のLFQA)とConFiQAデータセットの実験は、GenDiEが忠実さと正しさの両方で様々なベースラインを超えることを示した。
  論文  参考訳（メタデータ） (2025-03-03T16:08:33Z)
• On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond [37.894835756324454]
  フェデレーション平均化(FedAvg)は、フェデレーション学習(FL)において最も基本的なアルゴリズムである 最近の実証実験の結果、FedAvgは多くの実世界の異種タスクでうまく機能することが示された。 我々はFedAWAREと呼ばれるシンプルで効果的なFedAvg変種を提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:15:57Z)
• Adaptive Spot-Guided Transformer for Consistent Local Feature Matching [64.30749838423922]
  局所的特徴マッチングのための適応スポットガイド変換器(ASTR)を提案する。 ASTRは、統一された粗いアーキテクチャにおける局所的な一貫性とスケールのバリエーションをモデル化する。
  論文  参考訳（メタデータ） (2023-03-29T12:28:01Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。