論文の概要: DistDNAS: Search Efficient Feature Interactions within 2 Hours
- arxiv url: http://arxiv.org/abs/2311.00231v1
- Date: Wed, 1 Nov 2023 02:27:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 15:08:12.218577
- Title: DistDNAS: Search Efficient Feature Interactions within 2 Hours
- Title（参考訳）: DistDNAS: 2時間以内に効率的な機能インタラクションを検索する
- Authors: Tunhou Zhang, Wei Wen, Igor Fedorov, Xi Liu, Buyun Zhang, Fangqiu Han,
Wen-Yen Chen, Yiping Han, Feng Yan, Hai Li, Yiran Chen
- Abstract要約: 我々はDistDNASを、迅速かつ効率的な機能相互作用設計のための適切なソリューションとして提示する。
1TB Criteo Terabyte データセット上で DistDNAS で構築した最良のモデルを評価する。
- 参考スコア（独自算出の注目度）: 16.455469713601417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Search efficiency and serving efficiency are two major axes in building
feature interactions and expediting the model development process in
recommender systems. On large-scale benchmarks, searching for the optimal
feature interaction design requires extensive cost due to the sequential
workflow on the large volume of data. In addition, fusing interactions of
various sources, orders, and mathematical operations introduces potential
conflicts and additional redundancy toward recommender models, leading to
sub-optimal trade-offs in performance and serving cost. In this paper, we
present DistDNAS as a neat solution to brew swift and efficient feature
interaction design. DistDNAS proposes a supernet to incorporate interaction
modules of varying orders and types as a search space. To optimize search
efficiency, DistDNAS distributes the search and aggregates the choice of
optimal interaction modules on varying data dates, achieving over 25x speed-up
and reducing search cost from 2 days to 2 hours. To optimize serving
efficiency, DistDNAS introduces a differentiable cost-aware loss to penalize
the selection of redundant interaction modules, enhancing the efficiency of
discovered feature interactions in serving. We extensively evaluate the best
models crafted by DistDNAS on a 1TB Criteo Terabyte dataset. Experimental
evaluations demonstrate 0.001 AUC improvement and 60% FLOPs saving over current
state-of-the-art CTR models.
- Abstract（参考訳）: 探索効率とサービス効率は、特徴相互作用の構築とレコメンダシステムにおけるモデル開発プロセスの迅速化における2つの主要な軸である。
大規模ベンチマークでは、最適な機能インタラクション設計の探索には、大量のデータに対するシーケンシャルなワークフローのため、膨大なコストが必要となる。
さらに、様々なソース、順序、数学的操作の相互作用を融合させることで、潜在的な競合とレコメンデーションモデルに対するさらなる冗長性をもたらし、パフォーマンスとサービスコストの最適化されたトレードオフに繋がる。
本稿では,DistDNASを高速かつ効率的な機能相互作用設計のための優れたソリューションとして提示する。
DistDNASは、様々な順序と型の相互作用モジュールを検索空間として組み込むスーパーネットを提案する。
検索効率を最適化するために、distdnasは検索を分散し、さまざまなデータ日付に最適なインタラクションモジュールの選択を集約し、25倍のスピードアップを達成し、検索コストを2日から2時間に短縮する。
サービス効率を最適化するために、DistDNASは、冗長な相互作用モジュールの選択をペナルティ化するために、異なるコスト対応の損失を導入し、サービスにおける特徴的相互作用の効率を高める。
1TB Criteo Terabyte データセット上で DistDNAS で構築した最良のモデルを評価する。
実験により、現在のCTRモデルよりも 0.001 AUC の改善と 60% FLOP の削減が示された。
関連論文リスト
- Exploiting Distribution Constraints for Scalable and Efficient Image Retrieval [1.6874375111244329]
最先端の画像検索システムは、データセットごとに特定のニューラルネットワークをトレーニングする。
オフザシェルフのファンデーションモデルは、データセット固有のモデルに匹敵するパフォーマンスを達成するには不足している。
本稿では,基本モデルの性能を著しく向上するAE-SVC(Strong Variance Constraints)を用いたオートエンコーダを提案する。
論文 参考訳（メタデータ） (2024-10-09T16:05:16Z) - A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。
我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。
NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
論文 参考訳（メタデータ） (2023-12-21T02:48:44Z) - Beyond Two-Tower Matching: Learning Sparse Retrievable
Cross-Interactions for Recommendation [80.19762472699814]
2-towerモデルは、産業アプリケーションに広くデプロイされている推奨のための一般的なマッチングフレームワークである。
機能間相互作用の制限と、オンラインサービスにおける精度の低下など、主な課題が2つある。
我々は,高度な機能相互作用だけでなく,効率的な検索もサポートするSparCodeという新しいマッチングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-11-30T03:13:36Z) - Efficient Architecture Search for Diverse Tasks [29.83517145790238]
多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。
本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。
DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
論文 参考訳（メタデータ） (2022-04-15T17:21:27Z) - $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture
Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。
NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文 参考訳（メタデータ） (2022-03-03T11:47:14Z) - NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of
Models [90.6485663020735]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。
我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
論文 参考訳（メタデータ） (2021-08-07T12:03:14Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。