論文の概要: Projectable Models: One-Shot Generation of Small Specialized Transformers from Large Ones

• arxiv url: http://arxiv.org/abs/2506.05641v1
• Date: Fri, 06 Jun 2025 00:05:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.269499
• Title: Projectable Models: One-Shot Generation of Small Specialized Transformers from Large Ones
• Title（参考訳）: プロジェクタブルモデル:大型変圧器からの小型特殊変圧器のワンショット生成
• Authors: Andrey Zhmoginov, Jihwan Lee, Mark Sandler,
• Abstract要約: 大規模トランスフォーマーのパラメータをより小さな特殊モデルのパラメータにマッピングする手法について検討する。 この変換タスクを具体化することにより、より小さなモデルで特定のタスクを実行するのに必要な知識のより狭い範囲を捉えることを目指している。 画像モデリングタスクにおいて,生成したモデルの性能が普遍的条件付きモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.265271319203794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Foundation Models (FMs) are typically trained on corpora spanning a wide range of different data modalities, topics and downstream tasks. Utilizing these models can be very computationally expensive and is out of reach for most consumer devices. Furthermore, most of the broad FM knowledge may actually be irrelevant for a specific task at hand. Here we explore a technique for mapping parameters of a large Transformer to parameters of a smaller specialized model. By making this transformation task-specific, we aim to capture a narrower scope of the knowledge needed for performing a specific task by a smaller model. We study our method on image modeling tasks, showing that performance of generated models exceeds that of universal conditional models.
• Abstract（参考訳）: モダンファンデーションモデル(FM)は通常、幅広いデータモダリティ、トピック、下流タスクにまたがるコーパスで訓練される。 これらのモデルの使用は非常に計算コストがかかり、ほとんどの消費者向けデバイスでは手に入らない。 さらに、広いFM知識の大部分は、実際にある特定のタスクに無関係である可能性がある。 本稿では,大規模トランスフォーマーのパラメータをより小さな特殊モデルのパラメータにマッピングする手法を検討する。 この変換タスクを具体化することにより、より小さなモデルで特定のタスクを実行するのに必要な知識のより狭い範囲を捉えることを目指している。 画像モデリングタスクにおいて,生成したモデルの性能が普遍的条件付きモデルよりも優れていることを示す。

関連論文リスト

• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Diffscaler: Enhancing the Generative Prowess of Diffusion Transformers [34.611309081801345]
  本稿では,1つの事前学習拡散変圧器モデルにより,複数のデータセットを高速にスケールできるようにすることに焦点をあてる。 DiffScalerは拡散モデルの効率的なスケーリング戦略であり、異なるタスクに適応するために最小限のパラメータを訓練する。 変換器に基づく拡散モデルは,より小さなデータセットに対して微調整を行いながら,CNNに基づく拡散モデルよりも大幅に優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-15T17:55:43Z)
• Learning from models beyond fine-tuning [78.20895343699658]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• Heterogeneous Generative Knowledge Distillation with Masked Image Modeling [33.95780732124864]
  Masked Image Modeling (MIM) 法は様々な視覚的タスクにおいて大きな成功を収めるが、ヘテロジニアス深層モデルに対する知識蒸留では未解明のままである。 我々は,MIMに基づくH-GKD (Heterogeneous Generative Knowledge Distillation) を開発した。 本手法は,異種教師モデルからデータの視覚的表現と分布を学習するための,シンプルで効果的な学習パラダイムである。
  論文  参考訳（メタデータ） (2023-09-18T08:30:55Z)
• Fast Adaptation with Bradley-Terry Preference Models in Text-To-Image Classification and Generation [0.0]
  我々はBradley-Terry選好モデルを利用して、元のモデルを効率的に微調整する高速適応法を開発した。 このフレームワークの能力の広範な証拠は、マルチモーダルテキストや画像理解に関連するさまざまな領域の実験を通じて提供される。
  論文  参考訳（メタデータ） (2023-07-15T07:53:12Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Prototype-guided Cross-task Knowledge Distillation for Large-scale Models [103.04711721343278]
  クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。 本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-26T15:00:42Z)
• Exploring and Evaluating Personalized Models for Code Generation [9.25440316608194]
  パーソナライズのための変換器モデルの微調整を評価する。 i) すべてのモデルパラメータをチューニングできるカスタム微調整。 コード生成のためのこれらの微調整戦略を比較し、様々なデプロイメントシナリオにおいて、それぞれの潜在的な一般化とコスト効果について議論する。
  論文  参考訳（メタデータ） (2022-08-29T23:28:46Z)
• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model [97.9548609175831]
  約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。 具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。 検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-08T09:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。