論文の概要: Adaptive Inference: Theoretical Limits and Unexplored Opportunities
- arxiv url: http://arxiv.org/abs/2402.04359v1
- Date: Tue, 6 Feb 2024 19:49:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 18:07:30.232118
- Title: Adaptive Inference: Theoretical Limits and Unexplored Opportunities
- Title（参考訳）: 適応推論:理論的限界と未探究の機会
- Authors: Soheil Hor, Ying Qian, Mert Pilanci, Amin Arbabian
- Abstract要約: 我々は、達成可能な効率と性能向上のための、新しい近似的かつ正確な境界を提供する。
適応型推論状態空間の最適選択と設計を通じて、達成可能な効率向上に関する洞察を提供する。
- 参考スコア（独自算出の注目度）: 43.19515571173486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces the first theoretical framework for quantifying the
efficiency and performance gain opportunity size of adaptive inference
algorithms. We provide new approximate and exact bounds for the achievable
efficiency and performance gains, supported by empirical evidence demonstrating
the potential for 10-100x efficiency improvements in both Computer Vision and
Natural Language Processing tasks without incurring any performance penalties.
Additionally, we offer insights on improving achievable efficiency gains
through the optimal selection and design of adaptive inference state spaces.
- Abstract（参考訳）: 本稿では,適応推論アルゴリズムの効率と性能ゲイン機会サイズを定量化する最初の理論的枠組みを提案する。
コンピュータビジョンおよび自然言語処理タスクにおける10-100倍の効率向上の可能性を示す実証的証拠により,性能上のペナルティを伴わずに実現可能な効率と性能向上のための新たな近似的および厳密な境界を提供する。
さらに,適応推論状態空間の最適選択と設計を通じて,実現可能な効率の向上に関する洞察を提供する。
関連論文リスト
- Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - Efficiency optimization of large-scale language models based on deep learning in natural language processing tasks [6.596361762662328]
大規模言語モデルの内部構造と操作機構を理論的に解析する。
我々は、適応最適化アルゴリズム(AdamWなど)、大規模並列計算技術、混合精度訓練戦略の寄与を評価した。
論文 参考訳（メタデータ） (2024-05-20T00:10:00Z) - Enhanced Bayesian Optimization via Preferential Modeling of Abstract
Properties [49.351577714596544]
本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。
優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
論文 参考訳（メタデータ） (2024-02-27T09:23:13Z) - Constrained Bayesian Optimization with Adaptive Active Learning of
Unknown Constraints [10.705151736050967]
制約下での目的の最適化は、科学実験設計、医療療法の設計、産業プロセス最適化といった現実世界の応用において一般的なシナリオである。
一般のROIを決定するために,各側面から特定されたROIと交差する効率的なCBOフレームワークを提案する。
本稿では,実証的な証拠を通じて提案したCBOフレームワークの効率性とロバスト性を実証し,CBOアルゴリズムの実践的後悔境界を導出する根本的な課題について論じる。
論文 参考訳（メタデータ） (2023-10-12T22:32:00Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2023-04-25T21:49:09Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Adaptive Inference through Early-Exit Networks: Design, Challenges and
Directions [80.78077900288868]
初期のネットワークの設計手法をその重要コンポーネントに分解し、各コンポーネントの最近の進歩を調査する。
我々は、他の効率的な推論ソリューションと早期に競合する立場をとり、この分野の研究における現在の課題と最も有望な今後の方向性についての洞察を提供する。
論文 参考訳（メタデータ） (2021-06-09T12:33:02Z) - Effective End-to-End Learning Framework for Economic Dispatch [3.034038412630808]
エンド・ツー・エンドの機械学習の概念を採用し、経済的なディスパッチを行うためのタスク固有の学習基準を提案する。
提案する学習フレームワークの有効性と効率を明らかにするため,理論的分析と経験的洞察の両方を提供する。
論文 参考訳（メタデータ） (2020-02-22T08:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。