論文の概要: DuplexTune: Coupled-State Replay for Memory-Efficient Mixture-of-Experts Adaptation
- arxiv url: http://arxiv.org/abs/2610.36009v1
- Date: Mon, 26 Oct 2026 16:17:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.387594
- Title: DuplexTune: Coupled-State Replay for Memory-Efficient Mixture-of-Experts Adaptation
- Title（参考訳）: DuplexTune: メモリ効率の良いMixture-of-Experts適応のための結合状態リプレイ
- Abstract要約: 本稿では、事前学習された注意とエキスパートモジュールを通して、結合された隠れ状態の再生を行うフレームワークを提案する。
暗黙的状態回復方程式を解析し、再構成に必要な収束条件と再生条件を同定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse expert execution does not remove the stored states needed to adapt a mixture-of-experts language model. We present DuplexTune, a framework for replaying coupled hidden states through pretrained attention and expert modules. Trainable width bridges connect two residual streams to the backbone. Bridge warm-up precedes backbone adaptation, with router weights kept frozen. We analyze the implicit state-recovery equation and identify the convergence and replay conditions needed for reconstruction. On Qwen1.5-MoE-A2.7B, the single-H800 evaluation reports 38.8 GB peak memory, versus 64.8 GB for supervised fine-tuning with checkpointing, and throughput of 25.1 versus 19.9 samples/s. DuplexTune achieves 67.2% MMLU, 75.6% GSM8K, and 7.69 MT-Bench, with a weaker multilingual score than the checkpointed baseline. The results characterize a configuration-dependent tradeoff among state storage, throughput, and adaptation quality.
- Abstract（参考訳）: スパース専門家の実行は、エキスパートの混在する言語モデルに適応するのに必要な保存状態を取り除かない。
我々は、事前訓練された注意とエキスパートモジュールを通して、結合された隠れ状態を再生するフレームワークであるDuplexTuneを紹介する。
トレーニング可能な幅の橋は、2つの残留ストリームをバックボーンに接続する。
ブリッジウォームアップはバックボーンの適応に先行し、ルーターの重量は凍結したままである。
暗黙的状態回復方程式を解析し、再構成に必要な収束条件と再生条件を同定する。
Qwen1.5-MoE-A2.7Bでは、シングルH800のピークメモリは38.8GB、チェックポイント付き微調整は64.8GB、スループットは25.1対19.9サンプル/秒である。
DuplexTuneは67.2%のMMLU、75.6%のGSM8K、7.69のMT-Benchを達成した。
その結果、状態ストレージ、スループット、適応品質間の構成依存のトレードオフが特徴づけられる。
関連論文リスト
- Reuse, Don't Retrain: Efficient, Modality-Versatile Geospatial Foundation Models through Feature Distillation [5.5438676149999075]
凍結したCROMAとTerraMindの教師をパッチレベルの特徴マッチングによりより小さなビジョン変換器に蒸留する。
TerraMind Tiny、Small、Baseは、それぞれ2.76、3.02、および1.87のスケールマッチしたリリースでIoUポイントを上回っている。
TEDIは、マルチスペクトル画像にTerraMind、高解像度RGBにDINOv3を組み合わせた未ペアマルチエキスパート手法である。
論文 参考訳（メタデータ） (2026-10-23T12:48:24Z) - DuplexBridge: Coordinating Understanding and Generation for Unified Image Editing [55.260058862252045]
複雑な画像編集は、忠実なタスク解釈と正確な実行を必要とするが、編集が失敗した場合、どの責任が失敗したかは明らかにしない。
我々は、統一モデル独自の理解能力を使用して、独自の生成能力のプロンプトを強化するDuplexBridgeを提案する。
タスク由来の変化と保存要件のジョイント満足度を測定する1200タスクのベンチマークであるCE-Benchを紹介する。
論文 参考訳（メタデータ） (2026-10-13T17:50:22Z) - GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。
30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。
エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
論文 参考訳（メタデータ） (2026-09-30T12:20:51Z) - Retrofitting Recurrent Depth into a Pretrained Language Model: Installation, Extrapolation, Transfer, and Retention at Two Parameter Budgets [0.0]
密集した事前訓練された言語モデルは、繰り返しの深さで再適合することができる。
同様の大きさのスクラッチパッドを訓練したモデルは、学習した地平線内での繰り返しモデルと一致したが、その先で崩壊した。
論文 参考訳（メタデータ） (2026-07-31T03:02:09Z) - A Controlled Candidate-Set Benchmark for Offline Satellite-Security Plan Decomposition [0.0]
いくつかのセキュリティ開発設定では、オブジェクトを順序付き、チェック可能なプランにマッピングするローカルモデルが必要です。
本報告では,低ランク分解アダプタを用いて,24件のオーソリケーションと83件のオーソリケーションを含むケース分離コーパスを,24件のサテライトセキュリティケースに対して次段階の事例として公開する。
論文 参考訳（メタデータ） (2026-07-29T01:18:47Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Cascaded Multi-Granularity Pruning for On-Device LLM Inference in Industrial IoT [4.775543545907101]
本稿では, 層やアテンションヘッド, フィードフォワードチャネルを粗い順序で除去する多粒度刈取フレームワークを提案する。
情報理論解析は、この順序付けを動機付け、構造独立推定(SIA)はチェック可能な条件として定式化される。
NVIDIA DGX Sparkを使用した産業用スリーディングベアリング障害診断プラットフォーム上に展開され、圧縮されたモデルは推論遅延を67.2%、ピークメモリを62.5%削減した。
論文 参考訳（メタデータ） (2026-06-25T10:44:48Z) - Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games [69.57330692969543]
RNG-Benchは、過去の観測を再構築するベースモデルの能力を分離するために設計されたベンチマークスイートである。
RNG-Benchには2つの補完ゲームがある: マッチングペア(英語版) - 特定の場所でカードのIDを短期間明らかにする) と、エゴセントリックなビューを空間地図に統合する3D Maze である。
最も難しい構成では、約128Kのトークンと350のイメージ入力のコンテキストが必要であり、フロンティアMLLMによる飽和には程遠いままである。
論文 参考訳（メタデータ） (2026-06-17T17:59:34Z) - SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。
各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。
ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
論文 参考訳（メタデータ） (2026-06-02T02:45:21Z) - Human-Inspired Memory Architecture for LLM Agents [0.9507070656654629]
6つの認知機構からなる生体記憶アーキテクチャを提案する。
各メカニズムは、単純メモリ蓄積の特定の障害モードに対処する。
S層スケール(50セッション)では、デダップベースのコンソリデーションにより、好みのリコールが+13.3pp向上する。
論文 参考訳（メタデータ） (2026-05-08T22:52:37Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳（メタデータ） (2025-02-06T04:16:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。