論文の概要: Efficiently Controlling Multiple Risks with Pareto Testing
- arxiv url: http://arxiv.org/abs/2210.07913v1
- Date: Fri, 14 Oct 2022 15:54:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 14:46:58.609752
- Title: Efficiently Controlling Multiple Risks with Pareto Testing
- Title（参考訳）: パレートテストによる複数リスクの効率的な制御
- Authors: Bracha Laufer-Goldshtein, Adam Fisch, Regina Barzilay, Tommi Jaakkola
- Abstract要約: 本稿では,多目的最適化と複数仮説テストを組み合わせた2段階プロセスを提案する。
自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 34.83506056862348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning applications frequently come with multiple diverse
objectives and constraints that can change over time. Accordingly, trained
models can be tuned with sets of hyper-parameters that affect their predictive
behavior (e.g., their run-time efficiency versus error rate). As the number of
constraints and hyper-parameter dimensions grow, naively selected settings may
lead to sub-optimal and/or unreliable results. We develop an efficient method
for calibrating models such that their predictions provably satisfy multiple
explicit and simultaneous statistical guarantees (e.g., upper-bounded error
rates), while also optimizing any number of additional, unconstrained
objectives (e.g., total run-time cost). Building on recent results in
distribution-free, finite-sample risk control for general losses, we propose
Pareto Testing: a two-stage process which combines multi-objective optimization
with multiple hypothesis testing. The optimization stage constructs a set of
promising combinations on the Pareto frontier. We then apply statistical
testing to this frontier only to identify configurations that have (i) high
utility with respect to our objectives, and (ii) guaranteed risk levels with
respect to our constraints, with specifiable high probability. We demonstrate
the effectiveness of our approach to reliably accelerate the execution of
large-scale Transformer models in natural language processing (NLP)
applications. In particular, we show how Pareto Testing can be used to
dynamically configure multiple inter-dependent model attributes -- including
the number of layers computed before exiting, number of attention heads pruned,
or number of text tokens considered -- to simultaneously control and optimize
various accuracy and cost metrics.
- Abstract（参考訳）: 機械学習アプリケーションは多種多様な目的と制約を持ち、時間とともに変化する。
したがって、トレーニングされたモデルは、その予測行動(例えば、実行時の効率とエラー率)に影響するハイパーパラメータのセットで調整できる。
制約の数とハイパーパラメータ次元が増加するにつれて、自然選択された設定は、最適かつ/または信頼性の低い結果に繋がる可能性がある。
我々は,複数の明示的かつ同時的な統計的保証(上界誤差率など)を確実に満たすとともに,追加の制約のない目的(総実行時間コストなど)を最適化する効率的なモデル校正法を開発した。
一般損失に対する分布自由有限サンプルリスク制御の最近の結果に基づいて,多目的最適化と複数仮説テストを組み合わせた2段階プロセスであるPareto Testingを提案する。
最適化段階はパレート辺境に有望な組み合わせのセットを構築する。
このフロンティアに統計テストを適用するのは、構成を識別するだけです。
(i)我々の目的に関して高い実用性、
(二)我々の制約に対するリスクレベルを確実な高い確率で保証する。
自然言語処理(NLP)アプリケーションにおいて,大規模トランスフォーマーモデルの実行を確実に高速化する手法の有効性を示す。
特に,paretoテストを用いて,複数の相互依存型モデル属性 – 出口前に計算されたレイヤ数,注意ヘッド数,考慮されたテキストトークン数など – を動的に設定し,さまざまな精度とコストメトリクスを同時に制御し,最適化する方法を示す。
関連論文リスト
- Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。
本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
論文 参考訳（メタデータ） (2025-01-15T04:09:21Z) - Distilling Calibration via Conformalized Credal Inference [36.01369881486141]
信頼性を高める方法の1つは、ベイズ推定による不確実な定量化である。
本稿では,より複雑なモデルからキャリブレーション情報を抽出することにより,この問題に対処する低複雑さ手法を提案する。
視覚的および言語的タスクの実験により,提案手法はCD-CI (Conformalized Distillation for Credal Inference) と呼ばれ,校正性能が著しく向上することが示された。
論文 参考訳（メタデータ） (2025-01-10T15:57:23Z) - Vector Optimization with Gaussian Process Bandits [7.049738935364297]
複数の目的を同時に考慮しなければならない学習問題は、工学、薬物設計、環境管理など、様々な分野においてしばしば発生する。
複数のブラックボックスの目的関数を扱う従来の方法は、目的の選好を取り入れ、それに応じて解空間を探索することに制限がある。
ガウス過程の帯域幅を用いてブラックボックスベクトル最適化を行う適応除去アルゴリズムであるガウス過程を用いたベクトル最適化(VOGP)を提案する。
論文 参考訳（メタデータ） (2024-12-03T14:47:46Z) - Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Risk-Controlling Model Selection via Guided Bayesian Optimization [35.53469358591976]
他の競合するメトリクスに対して有用でありながら、特定のリスクに対するユーザ指定の制限に固執する構成を見つけます。
提案手法は,指定された関心領域に属する最適構成の集合を同定する。
提案手法は,低誤差率,等式予測,スプリアス相関処理,生成モデルにおける速度と歪みの管理,計算コストの削減など,複数のデシダラタを用いたタスクに対する有効性を示す。
論文 参考訳（メタデータ） (2023-12-04T07:29:44Z) - Adaptive Batch Sizes for Active Learning A Probabilistic Numerics
Approach [28.815294991377645]
アクティブな学習並列化は広く使われているが、一般的には実験全体を通してバッチサイズの修正に依存している。
この固定されたアプローチは、コストとスピードの間の動的なトレードオフのため、非効率である。
本稿では,バッチサイズを適応的に変更する新しい確率論フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-09T12:17:18Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - Constrained multi-objective optimization of process design parameters in
settings with scarce data: an application to adhesive bonding [48.7576911714538]
接着プロセスに最適なプロセスパラメータを見つけることは困難である。
遺伝的アルゴリズムのような伝統的な進化的アプローチは、その問題を解決するのに不適である。
本研究では,目的関数と制約関数をエミュレートするために,特定の機械学習手法をうまく応用した。
論文 参考訳（メタデータ） (2021-12-16T10:14:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。