論文の概要: Projectable Models: One-Shot Generation of Small Specialized Transformers from Large Ones

• arxiv url: http://arxiv.org/abs/2506.05641v1
• Date: Fri, 06 Jun 2025 00:05:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.269499
• Title: Projectable Models: One-Shot Generation of Small Specialized Transformers from Large Ones
• Title（参考訳）: プロジェクタブルモデル:大型変圧器からの小型特殊変圧器のワンショット生成
• Authors: Andrey Zhmoginov, Jihwan Lee, Mark Sandler,
• Abstract要約: 大規模トランスフォーマーのパラメータをより小さな特殊モデルのパラメータにマッピングする手法について検討する。 この変換タスクを具体化することにより、より小さなモデルで特定のタスクを実行するのに必要な知識のより狭い範囲を捉えることを目指している。 画像モデリングタスクにおいて,生成したモデルの性能が普遍的条件付きモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 12.265271319203794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Foundation Models (FMs) are typically trained on corpora spanning a wide range of different data modalities, topics and downstream tasks. Utilizing these models can be very computationally expensive and is out of reach for most consumer devices. Furthermore, most of the broad FM knowledge may actually be irrelevant for a specific task at hand. Here we explore a technique for mapping parameters of a large Transformer to parameters of a smaller specialized model. By making this transformation task-specific, we aim to capture a narrower scope of the knowledge needed for performing a specific task by a smaller model. We study our method on image modeling tasks, showing that performance of generated models exceeds that of universal conditional models.
• Abstract（参考訳）: モダンファンデーションモデル(FM)は通常、幅広いデータモダリティ、トピック、下流タスクにまたがるコーパスで訓練される。 これらのモデルの使用は非常に計算コストがかかり、ほとんどの消費者向けデバイスでは手に入らない。 さらに、広いFM知識の大部分は、実際にある特定のタスクに無関係である可能性がある。 本稿では,大規模トランスフォーマーのパラメータをより小さな特殊モデルのパラメータにマッピングする手法を検討する。 この変換タスクを具体化することにより、より小さなモデルで特定のタスクを実行するのに必要な知識のより狭い範囲を捉えることを目指している。 画像モデリングタスクにおいて,生成したモデルの性能が普遍的条件付きモデルよりも優れていることを示す。

関連論文リスト

• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• Diffscaler: Enhancing the Generative Prowess of Diffusion Transformers [34.611309081801345]
  本稿では,1つの事前学習拡散変圧器モデルにより,複数のデータセットを高速にスケールできるようにすることに焦点をあてる。 DiffScalerは拡散モデルの効率的なスケーリング戦略であり、異なるタスクに適応するために最小限のパラメータを訓練する。 変換器に基づく拡散モデルは,より小さなデータセットに対して微調整を行いながら,CNNに基づく拡散モデルよりも大幅に優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-15T17:55:43Z)
• Learning from models beyond fine-tuning [78.20895343699658]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• Fast Adaptation with Bradley-Terry Preference Models in Text-To-Image Classification and Generation [0.0]
  我々はBradley-Terry選好モデルを利用して、元のモデルを効率的に微調整する高速適応法を開発した。 このフレームワークの能力の広範な証拠は、マルチモーダルテキストや画像理解に関連するさまざまな領域の実験を通じて提供される。
  論文  参考訳（メタデータ） (2023-07-15T07:53:12Z)
• Prototype-guided Cross-task Knowledge Distillation for Large-scale Models [103.04711721343278]
  クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。 本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-26T15:00:42Z)
• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model [97.9548609175831]
  約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。 具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。 検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-08T09:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。