論文の概要: Adaptive Inference: Theoretical Limits and Unexplored Opportunities

• arxiv url: http://arxiv.org/abs/2402.04359v1
• Date: Tue, 6 Feb 2024 19:49:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 18:07:30.232118
• Title: Adaptive Inference: Theoretical Limits and Unexplored Opportunities
• Title（参考訳）: 適応推論:理論的限界と未探究の機会
• Authors: Soheil Hor, Ying Qian, Mert Pilanci, Amin Arbabian
• Abstract要約: 我々は、達成可能な効率と性能向上のための、新しい近似的かつ正確な境界を提供する。 適応型推論状態空間の最適選択と設計を通じて、達成可能な効率向上に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 43.19515571173486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces the first theoretical framework for quantifying the efficiency and performance gain opportunity size of adaptive inference algorithms. We provide new approximate and exact bounds for the achievable efficiency and performance gains, supported by empirical evidence demonstrating the potential for 10-100x efficiency improvements in both Computer Vision and Natural Language Processing tasks without incurring any performance penalties. Additionally, we offer insights on improving achievable efficiency gains through the optimal selection and design of adaptive inference state spaces.
• Abstract（参考訳）: 本稿では,適応推論アルゴリズムの効率と性能ゲイン機会サイズを定量化する最初の理論的枠組みを提案する。 コンピュータビジョンおよび自然言語処理タスクにおける10-100倍の効率向上の可能性を示す実証的証拠により,性能上のペナルティを伴わずに実現可能な効率と性能向上のための新たな近似的および厳密な境界を提供する。 さらに,適応推論状態空間の最適選択と設計を通じて,実現可能な効率の向上に関する洞察を提供する。

関連論文リスト

• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Black-box Optimization with Simultaneous Statistical Inference for Optimal Performance [18.13513199455587]
  ブラックボックス最適化は複雑なシステム管理における意思決定においてしばしば発生する。 我々のゴールは、最適化と統計的推測の2つのタスクをオンライン方式で最適性能に対処することである。
  論文  参考訳（メタデータ） (2025-01-14T02:37:09Z)
• Adaptive Optimization for Enhanced Efficiency in Large-Scale Language Model Training [3.668740611399284]
  大規模言語モデル (LLM) は様々なタスクにおいて顕著な成果を上げている。 本稿では適応最適化アルゴリズムに基づく改良手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T02:17:30Z)
• Efficiency optimization of large-scale language models based on deep learning in natural language processing tasks [6.596361762662328]
  大規模言語モデルの内部構造と操作機構を理論的に解析する。 我々は、適応最適化アルゴリズム(AdamWなど)、大規模並列計算技術、混合精度訓練戦略の寄与を評価した。
  論文  参考訳（メタデータ） (2024-05-20T00:10:00Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Adaptive Inference through Early-Exit Networks: Design, Challenges and Directions [80.78077900288868]
  初期のネットワークの設計手法をその重要コンポーネントに分解し、各コンポーネントの最近の進歩を調査する。 我々は、他の効率的な推論ソリューションと早期に競合する立場をとり、この分野の研究における現在の課題と最も有望な今後の方向性についての洞察を提供する。
  論文  参考訳（メタデータ） (2021-06-09T12:33:02Z)
• Effective End-to-End Learning Framework for Economic Dispatch [3.034038412630808]
  エンド・ツー・エンドの機械学習の概念を採用し、経済的なディスパッチを行うためのタスク固有の学習基準を提案する。 提案する学習フレームワークの有効性と効率を明らかにするため,理論的分析と経験的洞察の両方を提供する。
  論文  参考訳（メタデータ） (2020-02-22T08:04:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。