論文の概要: Differentiable Model Scaling using Differentiable Topk

• arxiv url: http://arxiv.org/abs/2405.07194v1
• Date: Sun, 12 May 2024 07:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 17:57:54.708600
• Title: Differentiable Model Scaling using Differentiable Topk
• Title（参考訳）: 微分可能トポックを用いた微分モデルスケーリング
• Authors: Kai Liu, Ruohui Wang, Jianfei Gao, Kai Chen,
• Abstract要約: 本研究では,ネットワークの最適幅と深さを探索する効率を高めるため,微分可能モデルスケーリング(DMS)を提案する。 結果は,我々のDMSが改良された構造を見つけ,最先端NAS法より優れていることを一貫して示している。
• 参考スコア（独自算出の注目度）: 12.084701778797854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the past few years, as large language models have ushered in an era of intelligence emergence, there has been an intensified focus on scaling networks. Currently, many network architectures are designed manually, often resulting in sub-optimal configurations. Although Neural Architecture Search (NAS) methods have been proposed to automate this process, they suffer from low search efficiency. This study introduces Differentiable Model Scaling (DMS), increasing the efficiency for searching optimal width and depth in networks. DMS can model both width and depth in a direct and fully differentiable way, making it easy to optimize. We have evaluated our DMS across diverse tasks, ranging from vision tasks to NLP tasks and various network architectures, including CNNs and Transformers. Results consistently indicate that our DMS can find improved structures and outperforms state-of-the-art NAS methods. Specifically, for image classification on ImageNet, our DMS improves the top-1 accuracy of EfficientNet-B0 and Deit-Tiny by 1.4% and 0.6%, respectively, and outperforms the state-of-the-art zero-shot NAS method, ZiCo, by 1.3% while requiring only 0.4 GPU days for searching. For object detection on COCO, DMS improves the mAP of Yolo-v8-n by 2.0%. For language modeling, our pruned Llama-7B outperforms the prior method with lower perplexity and higher zero-shot classification accuracy. We will release our code in the future.
• Abstract（参考訳）: 過去数年間、大規模な言語モデルがインテリジェンス発生の時代に定着し、ネットワークのスケーリングに重点が置かれてきた。 現在、多くのネットワークアーキテクチャは手動で設計されており、しばしばサブ最適構成をもたらす。 ニューラルアーキテクチャサーチ(NAS)手法は,このプロセスを自動化するために提案されているが,探索効率の低下に悩まされている。 本研究では,ネットワークの最適幅と深さを探索する効率を高めるため,微分可能モデルスケーリング(DMS)を提案する。 DMSは、幅と深さの両方を、直接的かつ完全に異なる方法でモデル化できるため、最適化が容易である。 我々は、視覚タスクからNLPタスク、CNNやTransformerなど様々なネットワークアーキテクチャまで、さまざまなタスクでDMSを評価してきた。 結果は,我々のDMSが改良された構造を見つけ,最先端NAS法より優れていることを一貫して示している。 具体的には、ImageNet上の画像分類において、当社のDMSは、EfficientNet-B0とDeit-Tinyのトップ1の精度をそれぞれ1.4%、Deit-Tinyは0.6%改善し、検索に0.4GPU日しか必要とせず、最先端のゼロショットNASであるZiCoを1.3%上回っている。 COCO上の物体検出では、DMSはYolo-v8-nのmAPを2.0%改善する。 言語モデリングでは,Llama-7Bは従来の手法よりも低いパープレキシティと高いゼロショット分類精度で優れていた。 将来、コードをリリースします。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency [10.641875933652647]
  我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。 各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。 CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-23T16:32:18Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search [22.848528877480796]
  複数の競合対象下で競合するタスク固有モデルを生成するための効率的なNASアルゴリズムを提案する。 2つのサロゲートで構成され、1つはサンプル効率を改善するためにアーキテクチャレベルで、1つはスーパーネットを介して重量レベルで、勾配降下訓練効率を改善する。 提案手法の有効性と汎用性を6つの非標準データセットで示す。
  論文  参考訳（メタデータ） (2020-07-20T18:30:11Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。