Fugu-MT 論文翻訳(概要): Robustness and Regularization in Hierarchical Re-Basin

論文の概要: Robustness and Regularization in Hierarchical Re-Basin

arxiv url: http://arxiv.org/abs/2510.09174v2
Date: Mon, 13 Oct 2025 11:42:48 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-14 13:29:55.715731
Title: Robustness and Regularization in Hierarchical Re-Basin
Title（参考訳）: 階層的再ベースにおけるロバスト性と正規化
Authors: Benedikt Franke, Florian Heinrich, Markus Lange, Arne Raulf,
Abstract要約: 本稿では,標準的なMergeManyアルゴリズムを大幅に上回る階層モデルマージ手法を提案する。我々の新しいアルゴリズムでは、Re-Basinは結合されたモデルに逆方向と頑健な摂動を誘導し、その効果はより強くなる。
参考スコア（独自算出の注目度）: 4.266342009607344
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper takes a closer look at Git Re-Basin, an interesting new approach to merge trained models. We propose a hierarchical model merging scheme that significantly outperforms the standard MergeMany algorithm. With our new algorithm, we find that Re-Basin induces adversarial and perturbation robustness into the merged models, with the effect becoming stronger the more models participate in the hierarchical merging scheme. However, in our experiments Re-Basin induces a much bigger performance drop than reported by the original authors.
Abstract（参考訳）: 本稿では、トレーニングされたモデルをマージする興味深い新しいアプローチであるGit Re-Basinについて詳しく説明する。本稿では,標準的なMergeManyアルゴリズムを大幅に上回る階層モデルマージ手法を提案する。我々の新しいアルゴリズムにより、Re-Basinは結合されたモデルに逆方向および摂動ロバスト性を誘導し、その効果は階層的なマージスキームにより多くのモデルが参加するほど強くなる。しかし、我々の実験では、Re-Basinはオリジナルの著者によって報告されたよりもはるかに大きなパフォーマンス低下を引き起こす。

関連論文リスト

Will it Merge? On The Causes of Model Mergeability [53.26238805048332]
特定のモデルが他のモデルよりもうまくマージされる理由について検討する。私たちは、基本モデルの知識を支配的な要因として強調します。マージ可能性の定義に基づき、簡単な重み付けマージ手法について検討する。
論文参考訳（メタデータ） (2026-01-10T20:12:25Z)
A Systematic Study of Model Merging Techniques in Large Language Models [43.5967188676583]
モデルマージは、複数の微調整されたチェックポイントを、追加のトレーニングなしで単一のモデルに結合する。本稿では,6つの最先端マージ手法の大規模かつ体系的な評価を行う。その結果、最古かつ最も単純なタスク算術法は、LCMの性能向上を確実に得る唯一の方法であることがわかった。
論文参考訳（メタデータ） (2025-11-26T14:28:11Z)
Towards Reversible Model Merging For Low-rank Weights [5.100622189286672]
モデルマージは、複数の微調整されたモデルを1セットの重みにまとめることを目的としており、すべてのソースタスクでうまく機能する。従来のマージ法を低ランクウェイトに適用すると, マージモデルの性能が著しく低下することを示す。すべてのアダプタを1組の重みに分解する代わりに、コンパクトな基底を構築する。これは、単一のマージモデルを生成するのではなく、再構成可能なモデル空間を生成するものとしてマージされる。
論文参考訳（メタデータ） (2025-10-15T23:22:38Z)
Rethinking Layer-wise Model Merging through Chain of Merges [21.26982153528304]
Chain of Merges(CoM)は、層間で重みを順次マージし、アクティベーション統計を逐次更新するレイヤワイドマージ手順である。標準ベンチマークの実験では、CoMが最先端のパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2025-08-29T08:44:47Z)
Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
論文参考訳（メタデータ） (2025-05-27T14:10:46Z)
Multi-Level Collaboration in Model Merging [56.31088116526825]
本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
論文参考訳（メタデータ） (2025-03-03T07:45:04Z)
If You Can't Use Them, Recycle Them: Optimizing Merging at Scale Mitigates Performance Tradeoffs [48.95875673503714]
多くのタスクで訓練された"ジェネラリスト"モデルをマージすることを研究する。提案アルゴリズムは,各チェックポイントの重みを線形結合で調整し,最適モデルを生成する。良いマージは、ほとんどすべてのチェックポイントとゼロでない重みを含む傾向があり、一見して悪い初期チェックポイントでさえ、良い最終マージに寄与することを示している。
論文参考訳（メタデータ） (2024-12-05T13:12:51Z)
Exploring Model Kinship for Merging Large Language Models [73.98345036483299]
我々は, モデル進化を反復的融合を通じて研究し, 生物進化の類似性について考察した。モデル親和性はマージによって達成された性能改善と密接に関連していることを示す。本稿では,新しいモデル統合戦略を提案する。
論文参考訳（メタデータ） (2024-10-16T14:29:29Z)
HM3: Heterogeneous Multi-Class Model Merging [0.0]
本研究では,補助ガードレールモデルを単一多機能モデルに統合するためのトレーニングフリーモデルマージ手法について検討する。異種ラベル空間とマルチクラス分類器をマージする簡単な手法として、異種多クラスモデルマージ(HM3)を提案する。 BERTをベースとしたガードモデルをマージする有望な結果が報告され、その一部はソースモデルよりも平均F1スコア高くなり、推論時間を最大44%削減する。
論文参考訳（メタデータ） (2024-09-27T22:42:45Z)
Vanishing Feature: Diagnosing Model Merging and Beyond [1.1510009152620668]
結合モデルによる伝搬中に入力誘起特徴が減少する「消滅特徴」現象を同定する。既存の正規化戦略は、消滅する特徴問題を的確に標的にすることで強化できることを示す。初期層機能の保存に重点を置いたPFM(Preserve-First Merging')戦略を提案する。
論文参考訳（メタデータ） (2024-02-05T17:06:26Z)
DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文参考訳（メタデータ） (2022-10-28T11:18:10Z)
Deep Hierarchy in Bandits [51.22833900944146]
行動の報酬は、しばしば相関する。統計的効率を最大化するためには,これらの相関を学習に活用することが重要である。平均作用報酬の相関が階層的ベイズモデルで表されるこの問題のバンディット変法を定式化する。
論文参考訳（メタデータ） (2022-02-03T08:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。