論文の概要: DLLG: Dynamic Logit-Level Gating of LLM Experts

• arxiv url: http://arxiv.org/abs/2606.04378v1
• Date: Wed, 03 Jun 2026 02:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.490361
• Title: DLLG: Dynamic Logit-Level Gating of LLM Experts
• Title（参考訳）: DLLG: LLMエキスパートの動的論理レベルゲーティング
• Authors: Bingnan Li, Zhaoyang Zhang, Xiaoze Liu, Yantao Shen, Shuli Jiang, Shuo Yang, Wei Xia, Zhuowen Tu, Stefano Soatto,
• Abstract要約: 本稿では,トークンレベルのエキスパート融合を疎応答レベルの監視から学習する動的ロジットレベルのアンサンブルフレームワークを提案する。 軽量ゲーティングモジュールは、トークンレベルのラベルや専門家の再訓練なしで、軌道レベルの正確さを生成物にリンクすることで、ステップワイズ融合重量を予測する。
• 参考スコア（独自算出の注目度）: 63.26663173267099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leveraging multiple specialized LLMs can combine complementary strengths, but existing approaches trade adaptability for stability: routing commits prematurely, heuristic ensembling depends on fragile proxies, and parameter merging introduces interference. We propose DLLG (Dynamic Logit-Level Gating), a dynamic logit-level ensembling framework that learns token-level expert fusion from sparse response-level supervision. A lightweight gating module predicts step-wise fusion weights, linking trajectory-level correctness to generation without token-level labels or expert retraining. Across diverse reasoning and code benchmarks, DLLG consistently outperforms strong routing, heuristic ensembling, and parameter-merging baselines across model scales, highlighting learned logit-level fusion as a robust and scalable paradigm for integrating specialized experts.
• Abstract（参考訳）: 複数の特殊なLDMを活用すれば、相補的な強みを組み合わせることができるが、既存のアプローチでは、ルーティングコミットの早期化、ヒューリスティックなアンサンブルは脆弱なプロキシに依存し、パラメータのマージは干渉をもたらす。 少人数の応答レベル管理からトークンレベルのエキスパート融合を学習する動的ロジットレベルのアンサンブルフレームワークであるDLLG(Dynamic Logit-Level Gating)を提案する。 軽量ゲーティングモジュールは、トークンレベルのラベルや専門家の再訓練なしで、軌道レベルの正確さを生成物にリンクすることで、ステップワイズ融合重量を予測する。 さまざまな推論とコードベンチマークを通じて、DLLGは、強力なルーティング、ヒューリスティックなアンサンブル、パラメータのマージベースラインをモデルスケールで一貫して上回り、専門の専門家を統合するための堅牢でスケーラブルなパラダイムとして、学習されたロジトレベルの融合を強調している。

関連論文リスト

• Proximity-Based Multi-Turn Optimization: Practical Credit Assignment for LLM Agent Training [26.571744733431448]
  マルチターンLDMエージェントは、顧客サービス自動化、eコマース支援、インタラクティブタスク管理など、プロダクションシステムにとって重要な存在である。 Proximity-based Multi-turn Optimization (ProxMO) は実世界の展開の制約に特化して設計された実用的で堅牢なフレームワークである。
  論文  参考訳（メタデータ） (2026-02-22T15:18:03Z)
• CRAFT-LoRA: Content-Style Personalization via Rank-Constrained Adaptation and Training-Free Fusion [27.087994191559904]
  Low-Rank Adaptation (LoRA) は、LoRA重みを異なる概念に組み合わせることで正確な制御を行うことのできる、効率的なパーソナライズアプローチを提供する。 既存の組み合わせ技術は、コンテンツとスタイルの表現の絡み合い、要素の影響を制御するのに不十分なガイダンス、しばしば追加のトレーニングを必要とする不安定な重み付けといった、永続的な課題に直面している。 1)低ランク投射残差を注入し、疎結合なコンテンツやスタイルのサブスペースの学習を促進するランク制約付きバックボーン微調整、(2)セマンティック拡張と精密制御が可能な専門分野のエキスパートエンコーダを特徴とするプロンプト誘導アプローチ。
  論文  参考訳（メタデータ） (2026-02-21T19:05:11Z)
• Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
  Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
  論文  参考訳（メタデータ） (2026-02-03T14:48:12Z)
• Semantic Routing: Exploring Multi-Layer LLM Feature Weighting for Diffusion Transformers [31.67315012315044]
  我々は,多層LLM隠蔽状態を体系的に整理する軽量ゲートを備えた統一正規化凸核融合フレームワークを提案する。 実験は、より優れた条件付け戦略としてDepth-wise Semantic Routingを確立する。 純粋に時間的な融合は、視覚発生の忠実度をパラドックス的に低下させる可能性がある。
  論文  参考訳（メタデータ） (2026-02-03T13:30:13Z)
• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• Unleash LLMs Potential for Recommendation by Coordinating Twin-Tower Dynamic Semantic Token Generator [60.07198935747619]
  動的セマンティック・インデックス・パラダイムを採用した最初の生成型RSであるTTDS(Twin-Tower Dynamic Semantic Recommender)を提案する。 より具体的には、ツイン・トワー・セマンティック・トークン・ジェネレータをLLMベースのレコメンデータに統合する動的知識融合フレームワークを初めて提案する。 提案したTTDSレコメンデータは,平均19.41%のヒットレート,20.84%のNDCG測定値を実現している。
  論文  参考訳（メタデータ） (2024-09-14T01:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。