Fugu-MT 論文翻訳(概要): $C^2M^3$: Cycle-Consistent Multi-Model Merging

論文の概要: $C^2M^3$: Cycle-Consistent Multi-Model Merging

arxiv url: http://arxiv.org/abs/2405.17897v2
Date: Wed, 30 Oct 2024 07:18:46 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-31 20:43:50.466699
Title: $C^2M^3$: Cycle-Consistent Multi-Model Merging
Title（参考訳）: C^2M^3$:Cycle-Consistent Multi-Model Merging
Authors: Donato Crisostomi, Marco Fumero, Daniele Baieri, Florian Bernard, Emanuele Rodolà,
Abstract要約: 本稿では,重み空間にニューラルネットワークをマージする新しいデータフリー手法を提案する。我々は、$N geq 3$モデルを統合する際に、置換のサイクル一貫性を強制する。
参考スコア（独自算出の注目度）: 27.845750236662575
License:
Abstract: In this paper, we present a novel data-free method for merging neural networks in weight space. Differently from most existing works, our method optimizes for the permutations of network neurons globally across all layers. This allows us to enforce cycle consistency of the permutations when merging $N \geq 3$ models, allowing circular compositions of permutations to be computed without accumulating error along the path. We qualitatively and quantitatively motivate the need for such a constraint, showing its benefits when merging sets of models in scenarios spanning varying architectures and datasets. We finally show that, when coupled with activation renormalization, our approach yields the best results in the task.
Abstract（参考訳）: 本稿では,重み空間にニューラルネットワークをマージする新しいデータフリー手法を提案する。本手法は,既存の研究と異なり,全層にわたるネットワークニューロンの置換を最適化する。これにより、$N \geq 3$モデルをマージする際の置換のサイクル一貫性を強制することができ、経路に沿ってエラーを蓄積することなく、置換の円形合成を計算できる。このような制約の必要性を質的かつ定量的に動機付け、さまざまなアーキテクチャやデータセットにまたがるシナリオにおいて、モデルのセットをマージする際のメリットを示します。最終的に、アクティベーション再正規化と組み合わせると、我々の手法がタスクの最良の結果をもたらすことを示す。

関連論文リスト

Provable Imbalanced Point Clustering [19.74926864871558]
不均衡点クラスタリングの近似を計算するための効率的かつ証明可能な手法を提案する。提案手法の実証的寄与を実画像(ノイズと参照)、合成データ、実世界のデータに示す実験を行った。
論文参考訳（メタデータ） (2024-08-26T12:41:41Z)
Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis [17.989809995141044]
相関解析に基づくCCAマージを提案する。 2モデル以上のモデルがマージされた場合、CCAは過去の方法よりもはるかにうまく機能することを示す。
論文参考訳（メタデータ） (2024-07-07T14:21:04Z)
Neural Inverse Kinematics [72.85330210991508]
逆キネマティック(英語版)(IK)法は、キネマティックチェインにおける選択された要素の所望の位置から関節のパラメータを復元する。本稿では,問題階層構造を用いて,所望の位置に条件付き有効関節角度を逐次サンプリングするニューラルIK法を提案する。
論文参考訳（メタデータ） (2022-05-22T14:44:07Z)
Random Manifold Sampling and Joint Sparse Regularization for Multi-label Feature Selection [0.0]
本稿では,$ell_2,1$および$ell_F$正規化の連立制約付き最適化問題を解くことで,最も関連性の高いいくつかの特徴を得ることができる。実世界のデータセットの比較実験により,提案手法が他の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2022-04-13T15:06:12Z)
Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文参考訳（メタデータ） (2022-02-08T16:16:11Z)
Fitting large mixture models using stochastic component selection [0.0]
本稿では,少数のコンポーネントのみを評価するために,計算とメトロポリス・ハスティングスアルゴリズムの期待値の組み合わせを提案する。コンポーネント割り当てのマルコフ連鎖は、アルゴリズムのイテレーション間で順次生成される。提案手法の一般性を重視し,浅い混合モデルと深い混合モデルの両方を訓練する能力を備える。
論文参考訳（メタデータ） (2021-10-10T12:39:53Z)
Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending [0.2294014185517203]
ニューラルネットワークのアンサンブルを用いて集約回帰器を構成するインクリメンタルアルゴリズムを導入する。集合回帰器と新たに訓練されたニューラルネットワークを凸性制約下で最適にブレンドする。このフレームワークでは、直線性の問題はまったく発生せず、メソッドが正確かつ堅牢になるようにレンダリングします。
論文参考訳（メタデータ） (2021-04-30T01:32:08Z)
Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文参考訳（メタデータ） (2021-04-13T23:21:01Z)
Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文参考訳（メタデータ） (2020-05-04T20:03:21Z)
Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文参考訳（メタデータ） (2020-03-30T15:37:50Z)
Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。