論文の概要: Barycentric Anchored Weight Search for Robust Model Merging

• arxiv url: http://arxiv.org/abs/2610.14017v1
• Date: Tue, 29 Sep 2026 10:29:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.465884
• Title: Barycentric Anchored Weight Search for Robust Model Merging
• Title（参考訳）: ロバストモデルマージのためのバリ中心アンコレッド重み探索
• Abstract要約: 分布シフト下での微調整型視覚モデルを改善するためのポストホック重み空間法を提案する。 この方法は、偏心候補重みを構築し、各候補を事前学習されたモデルに接続する方向に沿って、小さな微分自由探索を行う。 CLIP ViT-B/32 を用いた実験により,提案手法は OOD データの保持性能を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 0.7734726150561086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Barycentric Anchored Search, a post-hoc weight-space procedure for improving fine-tuned vision models under distribution shift without additional gradient training or increased inference cost. Given a pre-trained initialization and two checkpoints fine-tuned on a source dataset, the method constructs barycentric candidate weights and performs a small derivative-free search along directions connecting each candidate to the pre-trained model. Candidate weights are selected using a small validation subset of one or more out-of-distribution (OOD) datasets; the selected model is then evaluated on the held-out portions of those datasets, on additional OOD benchmarks, and on the ImageNet validation set to quantify the robustness-accuracy trade-off. The method is inspired by simplex-based derivative-free optimization, including Nelder-Mead and Torczon multidirectional search, but is specialized to the geometry of neural network weight merging. Unlike Model Soup, which typically benefits from many fine-tuned checkpoints, and unlike Model Stock, which applies a fixed geometric merge, our approach uses only two fine-tuned checkpoints and iteratively adapts the merge using validation feedback from OOD data. Experiments with CLIP ViT-B/32 show that the proposed search substantially improves performance on held-out OOD data, including ImageNet-A, ImageNet-R, and ImageNet-Sketch, while keeping ImageNet accuracy competitive. The resulting weights also improve transfer to OOD datasets not used during candidate selection, outperforming the original fine-tuned checkpoints, naive model soups, and Model Stock in our evaluations. These results suggest that lightweight optimization in anchored weight space provides a practical alternative to fixed weight-averaging rules, geometric merging, or single-model selection.
• Abstract（参考訳）: Barycentric Anchored Search(Barycentric Anchored Search, Barycentric Anchored Search, Barycentric Anchored Search, Barycentric Anchored Search, Barycentric Anchored Search)を提案する。 予め訓練された初期化と、ソースデータセットに微調整された2つのチェックポイントが与えられた場合、この方法は、バリ中心の候補重みを構築し、各候補を事前訓練されたモデルに接続する方向に沿って、小さな微分自由探索を行う。 候補重みは、1つ以上のアウト・オブ・ディストリビューション(OOD)データセットの小さな検証サブセットを使用して選択され、選択されたモデルは、これらのデータセットの保持された部分、追加のOODベンチマーク、およびImageNetバリデーションセットで評価され、ロバストネスと精度のトレードオフを定量化する。 この方法は、Nelder-MeadやTorczonの多方向探索など、単純なxベースの微分自由最適化にインスパイアされているが、ニューラルネットワークの重み付けの幾何学に特化している。 多くの微調整チェックポイントの恩恵を受けるModel Soupと異なり、固定幾何マージを適用するModel Stockとは異なり、我々のアプローチは2つの微調整チェックポイントのみを使用し、OODデータからの検証フィードバックを使用してマージを反復的に適応する。 CLIP ViT-B/32 を用いた実験により,提案した検索は ImageNet-A, ImageNet-R, ImageNet-Sketch などのホールドアウト OOD データの性能を大幅に向上し,ImageNet の精度は向上した。 結果として得られた重みは、候補選択時に使用されないOODデータセットへの転送を改善し、元の微調整されたチェックポイント、ナイーブなモデルスープ、モデルストックよりも優れている。 これらの結果は, 固定重み空間における軽量な最適化が, 固定重み付き規則, 幾何学的マージ, 単一モデル選択の代替となることを示唆している。

関連論文リスト

• Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
  本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。 提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2026-05-10T17:30:16Z)
• Model soups need only one ingredient [34.18140086731622]
  目標分布上の微調整済みの大規模な事前学習モデルは、しばしば分布内(ID)の精度を改善するが、ロバスト性は犠牲となる。 Model Soupsのような重み空間のアンサンブルメソッドは、複数のチェックポイントを平均化することによって、この効果を緩和する。 単一チェックポイントのみを使用して強力なID-OODバランスを実現する,シンプルでデータフリーでハイパーパラメータフリーなポストホック方式であるMonoSoupを紹介する。
  論文  参考訳（メタデータ） (2026-02-10T11:44:19Z)
• Improving Out-of-Distribution Detection via Dynamic Covariance Calibration [12.001290283557466]
  アウト・オブ・ディストリビューション(OOD)検出は、AIシステムの信頼性に不可欠である。 我々は, 従来の形状を動的に調整することにより, 分散されていない試料の影響を補正することができると論じる。 提案手法は, 各種モデル間のOOD検出を著しく向上させる。
  論文  参考訳（メタデータ） (2025-06-11T05:05:26Z)
• Test-Time Adaptation in Point Clouds: Leveraging Sampling Variation with Weight Averaging [17.74824534094739]
  テスト時間適応(TTA)は、ソースデータにアクセスせずに事前訓練されたモデルを適用することで、テスト中の分散シフトに対処する。 本稿では,3次元点雲分類のための新しいTTA手法を提案する。
  論文  参考訳（メタデータ） (2024-11-02T02:59:25Z)
• Effective Robustness against Natural Distribution Shifts for Models with Different Training Data [113.21868839569]
  効果的ロバスト性」は、分配内(ID)性能から予測できる以上の余分な分配外ロバスト性を測定する。 異なるデータに基づいてトレーニングされたモデルの有効ロバスト性を評価・比較するための新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-02-02T19:28:41Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification [74.62203971625173]
  不均衡データは、ディープラーニングに基づく分類モデルに課題をもたらす。 不均衡なデータを扱うための最も広く使われているアプローチの1つは、再重み付けである。 本稿では,分布の観点からの最適輸送(OT)に基づく新しい再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T01:23:54Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。