論文の概要: LPZero: Language Model Zero-cost Proxy Search from Zero

• arxiv url: http://arxiv.org/abs/2410.04808v1
• Date: Mon, 7 Oct 2024 07:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:47:52.540363
• Title: LPZero: Language Model Zero-cost Proxy Search from Zero
• Title（参考訳）: LPZero:ゼロからゼロコストプロキシ検索を行う言語モデル
• Authors: Peijie Dong, Lujun Li, Xiang Liu, Zhenheng Tang, Xuebo Liu, Qiang Wang, Xiaowen Chu,
• Abstract要約: Zero-shot NAS は Zero- Cost (ZC) プロキシを活用するという,有望なアプローチとして登場した。 各種タスク向けにZCプロキシを自動設計する新しいフレームワークである textbfLPZero を導入する。
• 参考スコア（独自算出の注目度）: 22.58150628206206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In spite of the outstanding performance, Neural Architecture Search (NAS) is criticized for massive computation. Recently, Zero-shot NAS has emerged as a promising approach by exploiting Zero-cost (ZC) proxies, which markedly reduce computational demands. Despite this, existing ZC proxies heavily rely on expert knowledge and incur significant trial-and-error costs. Particularly in NLP tasks, most existing ZC proxies fail to surpass the performance of the naive baseline. To address these challenges, we introduce a novel framework, \textbf{LPZero}, which is the first to automatically design ZC proxies for various tasks, achieving higher ranking consistency than human-designed proxies. Specifically, we model the ZC proxy as a symbolic equation and incorporate a unified proxy search space that encompasses existing ZC proxies, which are composed of a predefined set of mathematical symbols. To heuristically search for the best ZC proxy, LPZero incorporates genetic programming to find the optimal symbolic composition. We propose a \textit{Rule-based Pruning Strategy (RPS),} which preemptively eliminates unpromising proxies, thereby mitigating the risk of proxy degradation. Extensive experiments on FlexiBERT, GPT-2, and LLaMA-7B demonstrate LPZero's superior ranking ability and performance on downstream tasks compared to current approaches.
• Abstract（参考訳）: 優れた性能にもかかわらず、ニューラルネットワークサーチ(NAS)は大規模計算で批判されている。 近年,Zero-shot NASはZero Cost (ZC) プロキシを活用することで,計算要求を大幅に削減する有望なアプローチとして浮上している。 それにもかかわらず、既存のZCプロキシは専門家の知識に大きく依存し、大規模な試行錯誤コストを発生させている。 特にNLPタスクでは、既存のZCプロキシは単純なベースラインのパフォーマンスを上回りません。 これらの課題に対処するために,ZCプロキシを自動設計する新しいフレームワークである‘textbf{LPZero} を導入する。 具体的には、ZCプロキシを記号方程式としてモデル化し、既定の数学的記号からなる既存のZCプロキシを含む統一されたプロキシ探索空間を組み込む。 最高のZCプロキシをヒューリスティックに検索するために、LPZeroは遺伝的プログラミングを取り入れ、最適なシンボル構成を見つける。 本稿では, プリミティブなプロキシをプリエンプティブに排除し, プロキシ劣化のリスクを軽減するために, PRS (textit{Rule-based Pruning Strategy) を提案する。 FlexiBERT, GPT-2, LLaMA-7B の大規模な実験では、LPZero の下流タスクにおけるランク付け能力と性能が現在のアプローチと比較して優れていることが示されている。

関連論文リスト

• The Power of Resets in Online Reinforcement Learning [73.64852266145387]
  ローカルシミュレータアクセス(あるいはローカルプランニング)を用いたオンライン強化学習を通してシミュレータのパワーを探求する。 カバー性が低いMPPは,Qstar$-realizabilityのみのサンプル効率で学習可能であることを示す。 ローカルシミュレーターアクセス下では, 悪名高いExogenous Block MDP問題が抽出可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-23T18:09:53Z)
• AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search [30.64117903216323]
  トレーニングフリーネットワークアーキテクチャサーチ (NAS) は、ゼロコストプロキシによる高性能ネットワークの探索を目的としている。 AZ-NASは,ネットワークの予測ランキングと地上事実との相関性を高めるために,様々なゼロコストプロキシのアンサンブルを利用する新しいアプローチである。 その結果, AZ-NAS の有効性と有効性を確定的に示し, 標準ベンチマークにおける最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-28T08:44:36Z)
• ParZC: Parametric Zero-Cost Proxies for Efficient NAS [17.35463786216675]
  現在のゼロコストプロキシは、ニューラルネットワークの全ノードが同等のパフォーマンス推定に影響を及ぼさないという事実を考慮せずに、ノード単位のゼロコスト統計を集約する。 パラメトリックゼロコストプロキシ(ParZC)フレームワークを導入し,パラメータ化によるゼロコストプロキシの適応性を向上させる。 NAS-Bench-101, 201, NDSに関する総合的な実験は、既存のゼロショットNAS法と比較して提案したParZCの優位性を示した。
  論文  参考訳（メタデータ） (2024-02-03T10:00:11Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• Extensible Proxy for Efficient NAS [38.124755703499886]
  我々は、ニューラルアーキテクチャサーチ(NAS)と呼ばれるディープニューラルネットワーク(DNN)を設計するための新しいアプローチを提案する。 NASプロキシはNASの要求される計算問題に対処するために提案され、各候補アーキテクチャネットワークは1回のバックプロパゲーションしか必要としない。 Eproxy+DPSとEproxy+DPSの両方の有効性を確認した。
  論文  参考訳（メタデータ） (2022-10-17T22:18:22Z)
• NAS-Bench-Suite-Zero: Accelerating Research on Zero Cost Proxies [38.49781074850968]
  NAS-Bench-Suite:28タスクで13のZCプロキシを評価します。 バイアス分析と情報理論解析を含むZCプロキシの大規模解析を行う。 13個のZCプロキシをすべてNASアルゴリズムが使用するサロゲートモデルに組み込むことで,予測性能を最大42%向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-06T21:56:26Z)
• Non-isotropy Regularization for Proxy-based Deep Metric Learning [78.18860829585182]
  本稿では,プロキシに基づくDeep Metric Learningのための非等方正則化(mathbbNIR$)を提案する。 これにより、プロキシの周囲のサンプルの非等方分布を明示的に誘導して最適化することが可能になる。 実験では、競争力と最先端のパフォーマンスを達成しながら、$mathbbNIR$の一貫性のある一般化の利点を強調している。
  論文  参考訳（メタデータ） (2022-03-16T11:13:20Z)
• ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies [30.059154132130207]
  本稿では、ゼロコストプロキシを用いてニューラルネットワーク探索を高速化する効率的なベイズ最適化フレームワークであるProxyBOを提案する。 ProxyBOは3つの公開ベンチマークから5つのタスクの競争ベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-10-20T08:18:16Z)
• Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies [65.92826041406802]
  本稿では,グラフ分類の観点から,プロキシベースのディープグラフメトリックラーニング手法を提案する。 複数のグローバルプロキシを利用して、各クラスの元のデータポイントを総括的に近似する。 本研究では, 近接関係を接地トラス・ラベルに従って調整する, 新たな逆ラベル伝搬アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-10-26T14:52:42Z)
• EcoNAS: Finding Proxies for Economical Neural Architecture Search [130.59673917196994]
  本稿では、既存のほとんどのプロキシが、ネットワーク候補間のランク一貫性を維持する際に異なる振る舞いを示すことを観察する。 これらの観測から着想を得て、信頼性のあるプロキシを提案し、階層的なプロキシ戦略をさらに定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。
  論文  参考訳（メタデータ） (2020-01-05T13:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。