論文の概要: Efficiently Controlling Multiple Risks with Pareto Testing
- arxiv url: http://arxiv.org/abs/2210.07913v1
- Date: Fri, 14 Oct 2022 15:54:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 14:46:58.609752
- Title: Efficiently Controlling Multiple Risks with Pareto Testing
- Title（参考訳）: パレートテストによる複数リスクの効率的な制御
- Authors: Bracha Laufer-Goldshtein, Adam Fisch, Regina Barzilay, Tommi Jaakkola
- Abstract要約: 本稿では,多目的最適化と複数仮説テストを組み合わせた2段階プロセスを提案する。
自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 34.83506056862348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning applications frequently come with multiple diverse
objectives and constraints that can change over time. Accordingly, trained
models can be tuned with sets of hyper-parameters that affect their predictive
behavior (e.g., their run-time efficiency versus error rate). As the number of
constraints and hyper-parameter dimensions grow, naively selected settings may
lead to sub-optimal and/or unreliable results. We develop an efficient method
for calibrating models such that their predictions provably satisfy multiple
explicit and simultaneous statistical guarantees (e.g., upper-bounded error
rates), while also optimizing any number of additional, unconstrained
objectives (e.g., total run-time cost). Building on recent results in
distribution-free, finite-sample risk control for general losses, we propose
Pareto Testing: a two-stage process which combines multi-objective optimization
with multiple hypothesis testing. The optimization stage constructs a set of
promising combinations on the Pareto frontier. We then apply statistical
testing to this frontier only to identify configurations that have (i) high
utility with respect to our objectives, and (ii) guaranteed risk levels with
respect to our constraints, with specifiable high probability. We demonstrate
the effectiveness of our approach to reliably accelerate the execution of
large-scale Transformer models in natural language processing (NLP)
applications. In particular, we show how Pareto Testing can be used to
dynamically configure multiple inter-dependent model attributes -- including
the number of layers computed before exiting, number of attention heads pruned,
or number of text tokens considered -- to simultaneously control and optimize
various accuracy and cost metrics.
- Abstract（参考訳）: 機械学習アプリケーションは多種多様な目的と制約を持ち、時間とともに変化する。
したがって、トレーニングされたモデルは、その予測行動(例えば、実行時の効率とエラー率)に影響するハイパーパラメータのセットで調整できる。
制約の数とハイパーパラメータ次元が増加するにつれて、自然選択された設定は、最適かつ/または信頼性の低い結果に繋がる可能性がある。
我々は,複数の明示的かつ同時的な統計的保証(上界誤差率など)を確実に満たすとともに,追加の制約のない目的(総実行時間コストなど)を最適化する効率的なモデル校正法を開発した。
一般損失に対する分布自由有限サンプルリスク制御の最近の結果に基づいて,多目的最適化と複数仮説テストを組み合わせた2段階プロセスであるPareto Testingを提案する。
最適化段階はパレート辺境に有望な組み合わせのセットを構築する。
このフロンティアに統計テストを適用するのは、構成を識別するだけです。
(i)我々の目的に関して高い実用性、
(二)我々の制約に対するリスクレベルを確実な高い確率で保証する。
自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を示す。
特に,paretoテストを用いて,複数の相互依存型モデル属性 – 出口前に計算されたレイヤ数,注意ヘッド数,考慮されたテキストトークン数など – を動的に設定し,さまざまな精度とコストメトリクスを同時に制御し,最適化する方法を示す。
関連論文リスト
- Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Risk-Controlling Model Selection via Guided Bayesian Optimization [35.53469358591976]
他の競合するメトリクスに対して有用でありながら、特定のリスクに対するユーザ指定の制限に固執する構成を見つけます。
提案手法は,指定された関心領域に属する最適構成の集合を同定する。
提案手法は,低誤差率,等式予測,スプリアス相関処理,生成モデルにおける速度と歪みの管理,計算コストの削減など,複数のデシダラタを用いたタスクに対する有効性を示す。
論文 参考訳（メタデータ） (2023-12-04T07:29:44Z) - Adaptive Batch Sizes for Active Learning A Probabilistic Numerics
Approach [28.815294991377645]
アクティブな学習並列化は広く使われているが、一般的には実験全体を通してバッチサイズの修正に依存している。
この固定されたアプローチは、コストとスピードの間の動的なトレードオフのため、非効率である。
本稿では,バッチサイズを適応的に変更する新しい確率論フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-09T12:17:18Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Symmetric Tensor Networks for Generative Modeling and Constrained
Combinatorial Optimization [72.41480594026815]
ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。
これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。
本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
論文 参考訳（メタデータ） (2022-11-16T18:59:54Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - Constrained multi-objective optimization of process design parameters in
settings with scarce data: an application to adhesive bonding [48.7576911714538]
接着プロセスに最適なプロセスパラメータを見つけることは困難である。
遺伝的アルゴリズムのような伝統的な進化的アプローチは、その問題を解決するのに不適である。
本研究では,目的関数と制約関数をエミュレートするために,特定の機械学習手法をうまく応用した。
論文 参考訳（メタデータ） (2021-12-16T10:14:39Z) - Evolutionary Optimization of High-Coverage Budgeted Classifiers [1.7767466724342065]
予算付き多機能分類器(MSC)プロセスは、部分的特徴取得および評価ステップのシーケンスを通じて入力される。
本稿では,不確定な予測のための端末拒否オプションを組み込んだ問題固有MSCを提案する。
アルゴリズムの設計は、一意化による集約性能の概念を尊重しながら効率を重視している。
論文 参考訳（メタデータ） (2021-10-25T16:03:07Z) - Pareto Navigation Gradient Descent: a First-Order Algorithm for
Optimization in Pareto Set [17.617944390196286]
マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。
勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-17T04:07:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。