論文の概要: KLAS: Using Similarity to Stitch Neural Networks for Improved Accuracy-Efficiency Tradeoffs

• arxiv url: http://arxiv.org/abs/2605.29259v1
• Date: Thu, 28 May 2026 02:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.594679
• Title: KLAS: Using Similarity to Stitch Neural Networks for Improved Accuracy-Efficiency Tradeoffs
• Title（参考訳）: KLAS: ニューラルネットワークとの類似性を利用した精度効率トレードオフの改善
• Authors: Debopam Sanyal, Anantharaman Iyer, Alind Khare, Trisha Jain, Akshay Jajoo, Myungjin Lee, Clayton Kerce, Alexey Tumanov,
• Abstract要約: 我々は、モデルファミリ間の縫合選択を自動化し、一般化する新しい縫合選択フレームワークであるKLASを紹介する。 KLASは最大で1.21%のImageNet-1Kトップ-1の精度を同じ計算コストで達成し、FLOPの1.33倍の削減で精度を維持する。
• 参考スコア（独自算出の注目度）: 8.44550514213466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the wide range of deployment targets, flexible model selection is essential for optimizing performance within a given compute budget. Recent work demonstrates that stitching pretrained models within a model family enables cost-effective interpolation of the accuracy-efficiency tradeoff space. Stitching transforms intermediate activations from one pretrained model into another, producing a new interpolated stitched network. Such networks provide a pool of deployment options along the accuracy-efficiency spectrum. However, existing stitching approaches often yield suboptimal tradeoffs and lack generalizability, as they primarily rely on heuristics to select stitch configurations. We argue that constructing improved accuracy-efficiency tradeoffs requires explicitly capturing and leveraging the similarity between pretrained models being stitched. To this end, we introduce KLAS, a novel stitch selection framework that automates and generalizes stitch selection across model families by leveraging KL divergence between intermediate representations. KLAS identifies the most promising binary stitches from the $O(k^2n^2)$ possibilities for $k$ pretrained models of depth $n$. Through comprehensive experiments, we demonstrate that KLAS improves the accuracy-efficiency curve of stitched models at the same finetuning cost as baselines. KLAS achieves up to $1.21\%$ higher ImageNet-1K top-1 accuracy at the same computational cost, or maintains accuracy with a $1.33\times$ reduction in FLOPs.
• Abstract（参考訳）: 幅広いデプロイメントターゲットを考えると、フレキシブルなモデル選択は、所定の計算予算内でのパフォーマンスを最適化するために不可欠である。 最近の研究は、モデルファミリー内で事前訓練されたモデルを縫合することで、精度と効率のトレードオフ空間をコスト効率良く補間できることを実証している。 スティッチングは、ある事前訓練されたモデルから別のモデルへの中間活性化を変換し、新しい補間縫合ネットワークを生成する。 このようなネットワークは、精度と効率のスペクトルに沿って、デプロイオプションのプールを提供する。 しかし、既存の縫合法は、縫合構成の選択にヒューリスティックに依存するため、しばしば準最適トレードオフをもたらし、一般化性に欠ける。 精度と効率のトレードオフを改善するためには, 縫合されたモデル間の類似性を明示的に把握し, 活用する必要がある。 そこで本研究では、中間表現間のKL分散を利用して、モデルファミリ間の縫合選択を自動化・一般化する新しい縫合選択フレームワークであるKLASを紹介する。 KLASは、深さ$n$の事前訓練されたモデルに対して$O(k^2n^2)$の可能性から最も有望な2次縫合を識別する。 包括的実験により,KLASは縫合モデルの精度・効率曲線をベースラインと同じ微調整コストで改善することを示した。 KLASは1.21\%のImageNet-1Kトップ-1の精度を同じ計算コストで達成し、FLOPの1.33\times$の削減で精度を維持する。

関連論文リスト

• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• CAST: Continuous and Differentiable Semi-Structured Sparsity-Aware Training for Large Language Models [27.682531424487564]
  スパシティアウェアトレーニングは、大きな言語モデルをハードウェアフレンドリーなスパースパターンに変換するための効果的なアプローチである。 スパースモデルのための連続的かつ微分可能なスパース対応トレーニングフレームワークであるContinuous Adaptive Sparse Trainer (CAST)を提案する。 以上の結果から,従来の最先端手法に比べて,トレーニングリソースの最小化による難易度とゼロショット精度の両面で有意な改善が見られた。
  論文  参考訳（メタデータ） (2025-09-30T09:28:47Z)
• Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
  本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。 評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• Model Cascading for Code: A Cascaded Black-Box Multi-Model Framework for Cost-Efficient Code Completion with Self-Testing [20.445496441396028]
  本稿では,モデルカスケーディングと推論時自己テストアルゴリズムを組み合わせた新しいフレームワークを提案する。 このアプローチでは,自己生成テストを活用して精度を高め,モデルのカスケード決定を評価する。 実験結果から, カスケード手法はコストを平均26%削減し, ベストケースでは最大70%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-05-24T16:20:04Z)
• Efficient Stitchable Task Adaptation [47.94819192325723]
  そこで本研究では,高度調整型モデルのパレットを効率よく作成するための新しいフレームワークであるEfficient Stitchable Task Adaptation (ESTA)を提案する。 具体的には、縫合物間で低ランク更新を共有するために、パラメータ効率の高いファインチューニングを第1に調整する。 簡単なが効果的なワンステージデプロイメントパイプラインを合理化し、デプロイすべき重要な縫合を見積もる。
  論文  参考訳（メタデータ） (2023-11-29T04:31:35Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Exploring the Limits of Deep Image Clustering using Pretrained Models [1.1060425537315088]
  本稿では,事前学習した特徴抽出器を利用してラベルなしで画像の分類を学習する手法を提案する。 本稿では,画像特徴間の関連性を学習する新たな目的について提案する。
  論文  参考訳（メタデータ） (2023-03-31T08:56:29Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。