論文の概要: Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging

• arxiv url: http://arxiv.org/abs/2607.02988v1
• Date: Fri, 03 Jul 2026 05:53:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.48479
• Title: Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging
• Title（参考訳）: ゼロ次最適化とモデルマージによるデバイス間協調テスト時間適応
• Abstract要約: テスト時間適応(TTA)は、入力テストデータを使用して、オンザフライでモデルを更新することによって、ドメインシフトを緩和する。 TTA法の大部分は、モデル更新にリソース集約的バックプロパゲーション(BP)を必要とする。
• 参考スコア（独自算出の注目度）: 26.385689556663724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time adaptation (TTA) mitigates domain shifts by using incoming test data to update a model on the fly. The majority of TTA methods require resource-intensive backpropagation (BP) for model updates, particularly demanding large memory sizes, which makes it infeasible to deploy them on resource-limited devices (e.g., edge devices). To address this issue, we integrate two different techniques, zeroth-order optimization (ZOO) and model merging, under the recently established cross-device collaborative TTA (CDC-TTA) framework, where the system is composed of a mixture of resource-abundant and resource-limited devices, and the model information (e.g., model weights obtained on each device) is shared across the devices. Our method is executable on resource-limited devices by introducing ZOO, which requires only forward processing and bypasses the resource-intensive BP optimization. Concurrently, to mitigate the high-dimensional optimization difficulty caused by the side effect of ZOO, we incorporate model merging of the shared multiple models and set the merge coefficients as the optimization objective, which successfully reduces the optimization dimension. In addition, to enhance the synergistic combination of ZOO and model merging, we propose a unique preprocessing strategy that trims intra-model non-influential weights and reduces the inter-model information redundancy. We empirically confirmed the effectiveness of our method using common corruption and style-transferred image benchmarks.
• Abstract（参考訳）: テスト時間適応(TTA)は、入力テストデータを使用して、オンザフライでモデルを更新することで、ドメインシフトを緩和する。 TTAメソッドの大部分は、特に大きなメモリサイズを必要とするモデル更新のためにリソース集約的なバックプロパゲーション(BP)を必要とするため、リソース制限されたデバイス(エッジデバイスなど)にデプロイすることは不可能である。 この問題を解決するために、我々は、最近確立されたクロスデバイスコラボレーティブTTA(CDC-TTA)フレームワークにおいて、ゼロオーダー最適化(ZOO)とモデルマージという2つの異なる手法を統合する。 本手法は,リソース集約型BP最適化を回避し,フォワード処理のみを必要とするZOOを導入することで,リソース制限されたデバイス上で実行可能である。 同時に、ZOOの副作用による高次元最適化の難しさを軽減するため、共有多重モデルのモデルマージを取り入れ、マージ係数を最適化目的として設定し、最適化寸法をうまく低減した。 さらに、ZOOとモデルマージの相乗的組み合わせを強化するために、モデル内非インフルエンシャルウェイトをトリムし、モデル間情報の冗長性を低減できる独自の前処理戦略を提案する。 提案手法の有効性を,一般的な汚職とスタイル変換画像ベンチマークを用いて実証的に検証した。

関連論文リスト

• CoMerge: Conflict-Driven Preference Optimization for Multi-Task Model Merging [59.836482609414816]
  モデルマージのための競合駆動型優先最適化フレームワーク(CoMerge)を提案する。 CoMergeは、タスク固有の機能を保持しながら、パラメータ空間の競合を軽減するモデルを可能にする。 実験の結果、CoMerge は MergeBench 上で平均 0.9968 の正規化性能を達成した。
  論文  参考訳（メタデータ） (2026-09-02T08:21:28Z)
• Fine-Grained Model Merging via Modular Expert Recombination [33.253051407398836]
  本稿では,MERGEを提案する。MERGEはコンポーネントワイドなモデルマージと,インプットアウェアでオンデマンドなモジュール再結合を推論時に実現する手法である。 MERGEは、クロスタスク性能とストレージ効率のバランスをとる双方向最適化問題として、コンポーネントワイズマージを定式化している。 MERGEは、強いベースラインを一貫して上回り、効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2026-02-06T09:55:56Z)
• Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations [55.047454145941366]
  Streaming Mergingは、反復最適化プロセスとしてマージを概念化する革新的なモデル更新パラダイムである。 ARMは勾配勾配勾配のダイナミクスを近似するために設計された戦略である。 ARMは初期のSFTチェックポイントしか必要とせず、反復的なマージによって完全に収束したSFTモデルを上回る。
  論文  参考訳（メタデータ） (2026-02-03T08:15:57Z)
• Building Coding Agents via Entropy-Enhanced Multi-Turn Preference Optimization [13.271737599933147]
  本稿では,エントロピー強化フレームワークであるEntroPOを紹介し,既存の優先最適化アルゴリズムをマルチターンツール支援設定に適用する。 EntroPOは、さまざまな家族やサイズのモデル群を微調整することで検証する。 swebenchのリーダーボードでは、オープンウェイトモデルの間で、新しい最先端の結果が確立される。
  論文  参考訳（メタデータ） (2025-09-15T20:36:19Z)
• NAN: A Training-Free Solution to Coefficient Estimation in Model Merging [61.36020737229637]
  最適なマージ重み付けは,各モデルに符号化されたタスク固有情報の量とともにスケールする必要があることを示す。 パラメータノルムの逆数を用いてモデルマージ係数を推定する,単純で効果的な手法であるNANを提案する。 NANはトレーニングフリーで、プラグアンドプレイで、幅広いマージ戦略に適用できる。
  論文  参考訳（メタデータ） (2025-05-22T02:46:08Z)
• Efficient Split Federated Learning for Large Language Models over Communication Networks [45.02252893286613]
  分散方式で訓練済みの大規模言語モデル(LLM)を微調整することで、リソース制約のあるエッジネットワークにおいて大きな課題が生じる。 本稿では,分割フェデレーション学習とパラメータ効率のよい微調整技術を統合する新しいフレームワークであるSflLLMを提案する。 モデル分割とローランク適応(LoRA)を活用することにより、SflLLMはエッジデバイスの計算負担を軽減する。
  論文  参考訳（メタデータ） (2025-04-20T16:16:54Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging [30.38047100067552]
  推論機能は、大きな言語モデルにとって重要なフロンティアである。 機能を効率的に補完する1つの方法は、モデルマージである。 本稿では,マージ戦略のきめ細かい探索を可能にする自動モデルマージフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-06T12:47:25Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Merging in a Bottle: Differentiable Adaptive Merging (DAM) and the Path from Averaging to Automation [0.9084344604313794]
  本稿では,モデルマージ手法を複雑度の範囲にわたって検討する。 本稿では,効率よく適応的なマージ手法である微分適応マージ(DAM)を導入する。 以上の結果から,モデル類似度が高い場合,モデルソープのような単純な平均化手法でさえ競争力を発揮することが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-10T20:58:29Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。