論文の概要: Learngene Search Across Multiple Datasets for Building Variable-Sized Models

• arxiv url: http://arxiv.org/abs/2605.08209v1
• Date: Wed, 06 May 2026 09:13:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.462367
• Title: Learngene Search Across Multiple Datasets for Building Variable-Sized Models
• Title（参考訳）: 可変サイズモデル構築のための複数データセット間の学習遺伝子探索
• Abstract要約: 可変サイズモデル(LSAMD)構築のための複数のデータセット間の学習遺伝子探索を提案する。 LSAMDがデータセット固有のブロックとデータセットアダプタ(DAD)を備えた検索可能なスーパーAns-NetにAns-Netを拡張 複数のデータセットの実験では、LSAMDはプレトレイン-ファインチューン法に匹敵するパフォーマンスを実現し、ストレージとトレーニングコストを大幅に削減している。
• 参考スコア（独自算出の注目度）: 33.895735909237736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning methods are widely used under diverse resource constraints, resulting in models of varying sizes, such as the Vision Transformer (ViT) series. Deploying these models typically requires costly pretraining and finetuning. The Learngene paradigm addresses this issue by extracting transferable components, called learngenes, from a pretrained ancestry model (Ans-Net) to initialize variable-sized descendant models (Des-Nets).Existing learngene extraction methods rely on a single dataset, limiting downstream performance. To address this limitation, we propose Learngene Search Across Multiple Datasets for Building Variable-Sized Models (LSAMD). LSAMD expands the Ans-Net into a searchable super Ans-Net with dataset-specific blocks and dataset adapters (DADs). During training, LSAMD searches for an optimal architecture path for each dataset. The base blocks most frequently selected across datasets are extracted as learngenes for initializing Des-Nets.Experiments on multiple datasets show that LSAMD achieves performance comparable to pretrain-finetune methods while significantly reducing storage and training costs.
• Abstract（参考訳）: 深層学習法は様々な資源制約の下で広く使われており、ViTシリーズのような様々な大きさのモデルが作られる。 これらのモデルをデプロイするには、通常、コストのかかる事前トレーニングと微調整が必要です。 Learngeneパラダイムは、事前訓練された祖先モデル(Ans-Net)から変換可能なコンポーネント( learngenes)を抽出し、可変サイズの子孫モデル(Des-Nets)を初期化することでこの問題に対処する。 既存の学習遺伝子抽出方法は、下流のパフォーマンスを制限する単一のデータセットに依存している。 この制限に対処するため,Leargene Search Across Multiple Datasets for Building Variable-Sized Models (LSAMD)を提案する。 LSAMDはAns-Netをデータセット固有のブロックとデータセットアダプタ(DAD)を備えた検索可能なスーパーAns-Netに拡張する。 トレーニング中、LSAMDはデータセット毎に最適なアーキテクチャパスを検索する。 複数のデータセットに対する実験によると、LSAMDはプレトレインファイントゥン法に匹敵するパフォーマンスを達成し、ストレージとトレーニングコストを大幅に削減する。

関連論文リスト

• Learning Multi-Indicator Weights for Data Selection: A Joint Task-Model Adaptation Framework with Efficient Proxies [50.39041754816285]
  本稿では、下流タスクと特定のモデルの両方にデータ選択を併用する多変数重み学習フレームワークを提案する。 提案手法は,GSM8Kのトレーニングサンプルの30%しか使用せず,フルデータセットチューニングに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2026-05-10T17:30:16Z)
• Swift Cross-Dataset Pruning: Enhancing Fine-Tuning Efficiency in Natural Language Understanding [2.379669478864599]
  現在の微調整のためのクロスデータセットプルーニング技術は、しばしば計算に高価なサンプルランキングプロセスに依存している。 我々は,TF-IDF埋め込みと幾何中央値を用いたSwift Cross-Dataset Pruning (SCDP)を提案する。 6つの多様なデータセットに対する実験結果から,様々なタスクやスケールにまたがる手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-01-05T03:52:04Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• DGInStyle: Domain-Generalizable Semantic Segmentation with Image Diffusion Models and Stylized Semantic Control [68.14798033899955]
  大規模で事前訓練された潜伏拡散モデル(LDM)は、創造的コンテンツを生成できる異常な能力を示した。 しかし、それらは例えば、セマンティックセグメンテーションのような知覚スタックのタスクを改善するために、大規模なデータジェネレータとして使用できますか? 自律運転の文脈でこの疑問を考察し、「はい」という言い換えで答える。
  論文  参考訳（メタデータ） (2023-12-05T18:34:12Z)
• Large Language Model Routing with Benchmark Datasets [40.42044096089315]
  通常、単一のモデルがすべてのタスクやユースケースで最高の精度を達成することはない。 そこで我々は,この選択のための"ルータ"モデルを学習するために,ベンチマークデータセットを再利用した新しい定式化を提案する。 本稿では,この問題をバイナリ分類タスクの集合に還元できることを示す。
  論文  参考訳（メタデータ） (2023-09-27T17:08:40Z)
• How to Train an Accurate and Efficient Object Detection Model on Any Dataset [0.0]
  オブジェクト検出訓練のためのデータセットに依存しないテンプレートを提案する。 慎重に選択され、事前訓練されたモデルと、さらなるトレーニングのための堅牢なトレーニングパイプラインで構成される。 私たちのソリューションは最初から動作し、幅広いデータセットに対して強力なベースラインを提供します。
  論文  参考訳（メタデータ） (2022-11-30T17:09:01Z)
• Cross-Modal Adapter for Vision-Language Retrieval [60.59577149733934]
  パラメータ効率の伝達学習のためのクロスモーダル適応器を提案する。 アダプタベースの手法にインスパイアされ、いくつかのパラメータ化レイヤで事前訓練されたモデルを調整します。 提案手法には,(1)微調整パラメータの大部分の削減,(2)トレーニング時間の短縮,(3)事前学習パラメータの修正,という3つの特長がある。
  論文  参考訳（メタデータ） (2022-11-17T16:15:30Z)
• Single-dataset Experts for Multi-dataset Question Answering [6.092171111087768]
  複数のデータセットにネットワークをトレーニングして、新たなデータセットを一般化し、転送します。 我々のアプローチは、単一データセットの専門家の集合を用いて、マルチデータセットの質問応答をモデル化することである。 パラメータ警告に基づく単純な手法は、ゼロショットの一般化と少数ショットの転送性能の向上につながる。
  論文  参考訳（メタデータ） (2021-09-28T17:08:22Z)
• Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
  我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。 これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。 異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
  論文  参考訳（メタデータ） (2021-06-08T06:13:11Z)
• Neural Data Server: A Large-Scale Search Engine for Transfer Learning Data [78.74367441804183]
  我々は,ターゲットドメインに最も有用な転送学習データを見つけるための大規模検索エンジンであるNeural Data Server (NDS)を紹介した。 NDSは、いくつかの人気のある画像データセットをインデックスするデータサーバで構成され、クライアントにデータを推奨することを目的としている。 我々は,NDSが様々な伝達学習シナリオにおいて有効であることを示し,複数のターゲットデータセットに対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-01-09T01:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。