論文の概要: Conflict-Free Replicated Data Types for Neural Network Model Merging: A Two-Layer Architecture Enabling CRDT-Compliant Model Merging Across 26 Strategies

• arxiv url: http://arxiv.org/abs/2605.19373v1
• Date: Sat, 16 May 2026 07:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.136364
• Title: Conflict-Free Replicated Data Types for Neural Network Model Merging: A Two-Layer Architecture Enabling CRDT-Compliant Model Merging Across 26 Strategies
• Title（参考訳）: ニューラルネットワークモデルマージのための競合のないレプリケーションデータ型:26ストラテジー間のCRDT-Compliantモデルマージを実現する2層アーキテクチャ
• Authors: Ryan Gillespie,
• Abstract要約: CRDTStateは、すべてのマージ戦略をCRDT準拠の層にラップする。 Layer 1はOR-Set CRDTセマンティクスを通じてコントリビューションを管理する。 レイヤ2は、列挙されたコントリビューションセット上の決定論的純粋関数としてマージ戦略を適用します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: All 26 neural network merge strategies we tested including weight averaging, SLERP, TIES, DARE, Fisher merging, and evolutionary approaches -- fail the algebraic properties (commutativity, associativity, idempotency) required for conflict-free distributed operation. We prove that this failure is structural: normalisation-based merges cannot simultaneously satisfy all three properties. To resolve this, we present a two-layer architecture -- CRDTMergeState -- that wraps any merge strategy in a CRDT-compliant (Conflict-Free Replicated Data Type) layer. Layer 1 manages contributions via OR-Set CRDT semantics, where the merge operation is set union -- trivially commutative, associative, and idempotent. Layer 2 applies merge strategies as deterministic pure functions over a canonically-ordered contribution set, with randomness seeded from the Merkle root. We prove that this separation guarantees Strong Eventual Consistency: all replicas receiving the same contributions compute identical merged models, regardless of message ordering. Empirical validation spans three tiers: controlled 4x4 tensors (104/104 tests pass), production-scale models up to 7.24B parameters (208 strategy-level tests, 43,368 layer-level property checks at capped tensor resolution), and multi-node convergence under gossip and partition healing (100 nodes, 20 orderings), with CRDT overhead below 0.5 ms. Because the wrapper is transparent, downstream performance is identical by construction, confirmed via byte-identical output verification. The reference implementation is available as crdt-merge v0.9.4.
• Abstract（参考訳）: 重み付け、SLERP、TIES、DARE、Fisher merging、進化的アプローチを含む26のニューラルネットワークマージ戦略は、競合のない分散操作に必要な代数的特性(可換性、連想性、イデオロシティ)を損なう。 正規化に基づくマージは3つの性質を同時に満たすことができない。 これを解決するために、CRDT準拠(Conflict-Free Replicated Data Type)レイヤでマージ戦略をラップする2層アーキテクチャであるCRDTMergeStateを紹介します。 Layer 1 は OR-Set CRDT セマンティクスを通じてコントリビューションを管理する。 層 2 は、Merkle 根からランダム性を持ち、正準順序のコントリビューション集合上の決定論的純粋関数としてマージ戦略を適用する。 同じコントリビューションを受け取るすべてのレプリカは、メッセージの順序に関わらず、同一のマージされたモデルを計算します。 4x4テンソル(104/104テストパス)、最大7.24Bパラメータ(208の戦略レベルテスト、43,368の層レベルのプロパティチェック)、ゴシップとパーティションヒーリング(100ノード、20オーダー)によるマルチノード収束、0.5ms以下のCRDTオーバーヘッド。 リファレンス実装は crdt-merge v0.9.4 として利用可能である。

関連論文リスト

• CORE: Robust Out-of-Distribution Detection via Confidence and Orthogonal Residual Scoring [9.25889614321249]
  ディープラーニングモデルを確実にデプロイするためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 本研究では,各部分空間を独立にスコアリングして2つの信号をアンタングル化し,それらを正規化和で結合するCOREを提案する。 COREは5つのアーキテクチャと5つのベンチマーク構成で、競争力や最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-18T21:23:54Z)
• SQL-ASTRA: Alleviating Sparse Feedback in Agentic SQL via Column-Set Matching and Trajectory Aggregation [51.696027315573296]
  本稿では,効率的な軌道レベル評価と高密度ステップレベル信号の提供を目的とした,普遍的な2層報酬機構を特徴とするフレームワークを提案する。 伝統的なパラダイムでは、報酬は最終ターンのフィードバックによってのみ決定され、中間プロセスを無視し、曖昧な信用評価をもたらす。 提案手法は,同一モデルを用いてBIRD 2.0上でのSOTA Arctic-Text2-R1-7Bより優れており,頑健なマルチターンエージェントのパラダイムに向けてテキストから逆収束を推進していることを示す。
  論文  参考訳（メタデータ） (2026-03-17T06:26:36Z)
• Fine-Grained Model Merging via Modular Expert Recombination [33.253051407398836]
  本稿では,MERGEを提案する。MERGEはコンポーネントワイドなモデルマージと,インプットアウェアでオンデマンドなモジュール再結合を推論時に実現する手法である。 MERGEは、クロスタスク性能とストレージ効率のバランスをとる双方向最適化問題として、コンポーネントワイズマージを定式化している。 MERGEは、強いベースラインを一貫して上回り、効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2026-02-06T09:55:56Z)
• Behavior Knowledge Merge in Reinforced Agentic Models [48.89546963456286]
  強化学習はポストトレーニングの中心であり、特に特別な推論行動を必要とするエージェントモデルにとって重要である。 既存のマージ手法は教師付き微調整(SFT)のために設計されており、RL学習エージェントモデル上でタスク固有の機能を維持するのに最適である。 本稿では,RL学習エージェントモデル用に明示的に設計された分散対応エージェントマージフレームワークであるReinforced Agent Merging (RAM)を提案する。
  論文  参考訳（メタデータ） (2026-01-20T03:56:53Z)
• H2Tune: Federated Foundation Model Fine-Tuning with Hybrid Heterogeneity [25.639893635287187]
  本稿では,ハイブリッドなヘテロジニティを持つファウンデーションモデルH2Tuneを提案する。 フレームワークは3つの主要なコンポーネントから構成される: (i) 階層化された三重行列分解(sparsified triple matrix decomposition) クライアントリソースに基づく適応的なスパーシフィケーション(adaptive sparsification) 、 (ii) 異種層構造と表現能力を扱うための関係誘導行列層アライメント、 (iii) タスク知識のアンタングルメント機構の交替による局所モデルパラメータの共有および特定知識の分離。
  論文  参考訳（メタデータ） (2025-07-30T12:53:18Z)
• Representation Similarity: A Better Guidance of DNN Layer Sharing for Edge Computing without Training [3.792729116385123]
  本稿では,表現類似度Sで導かれる表現をエッジで共有することで,新しいモデルマージ方式を提案する。 Pearson correlation Coefficient |r| > 0.94 than other metrics。
  論文  参考訳（メタデータ） (2024-10-15T03:35:54Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Reference Twice: A Simple and Unified Baseline for Few-Shot Instance Segmentation [103.90033029330527]
  FSIS(Few-Shot Instance)は、サポート例が限定された新しいクラスの検出とセグメンテーションを必要とする。 我々は、FSISのサポートとクエリ機能の関係を利用するための統合フレームワーク、Reference Twice(RefT)を導入する。
  論文  参考訳（メタデータ） (2023-01-03T15:33:48Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。