論文の概要: Rich Feature Construction for the Optimization-Generalization Dilemma
- arxiv url: http://arxiv.org/abs/2203.15516v1
- Date: Thu, 24 Mar 2022 20:39:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-03 18:52:35.409533
- Title: Rich Feature Construction for the Optimization-Generalization Dilemma
- Title（参考訳）: 最適化一般化ジレンマのためのリッチな特徴構成
- Authors: Jianyu Zhang, David Lopez-Paz, L\'eon Bottou
- Abstract要約: 我々は、モデルで使用できる潜在的に有用な機能のパレットを含むリッチな表現(RFC)を構築する。
RFCは、6つのOoDメソッドが挑戦的な不変トレーニングベンチマークで最高のパフォーマンスを達成するのを一貫して支援します。
現実的な Camelyon17 タスクでは,OoD と OoD の両手法が,従来の計算可能な結果に対して少なくとも 5% 以上の性能を発揮する。
- 参考スコア（独自算出の注目度）: 18.721567020497968
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There often is a dilemma between ease of optimization and robust
out-of-distribution (OoD) generalization. For instance, many OoD methods rely
on penalty terms whose optimization is challenging. They are either too strong
to optimize reliably or too weak to achieve their goals.
In order to escape this dilemma, we propose to first construct a rich
representation (RFC) containing a palette of potentially useful features, ready
to be used by even simple models. On the one hand, a rich representation
provides a good initialization for the optimizer. On the other hand, it also
provides an inductive bias that helps OoD generalization. RFC is constructed in
a succession of training episodes. During each step of the discovery phase, we
craft a multi-objective optimization criterion and its associated datasets in a
manner that prevents the network from using the features constructed in the
previous iterations. During the synthesis phase, we use knowledge distillation
to force the network to simultaneously develop all the features identified
during the discovery phase.
RFC consistently helps six OoD methods achieve top performance on challenging
invariant training benchmarks, ColoredMNIST (Arjovsky et al., 2020).
Furthermore, on the realistic Camelyon17 task, our method helps both OoD and
ERM methods outperform earlier compatable results by at least $5\%$, reduce
standard deviation by at least $4.1\%$, and makes hyperparameter tuning and
model selection more reliable.
- Abstract（参考訳）: 最適化の容易さと堅牢なアウト・オブ・ディストリビューション(OoD)の一般化の間には、しばしばジレンマがある。
例えば、多くのOoDメソッドは最適化が難しいペナルティ項に依存している。
確実に最適化するには強すぎるか、目標を達成するには弱すぎるかのどちらかです。
このジレンマから逃れるために、我々はまず、単純なモデルでも使用可能な、潜在的に有用な機能のパレットを含むリッチ表現(rfc)を構築することを提案する。
一方、リッチな表現はオプティマイザの優れた初期化を提供する。
一方で、ood一般化に役立つ帰納的バイアスも与えている。
RFCは、トレーニングエピソードの連続で構築されます。
発見フェーズの各ステップにおいて、ネットワークが以前のイテレーションで構築された機能を使用するのを防ぐために、多目的最適化基準とその関連するデータセットを構築する。
合成フェーズでは、知識蒸留を用いて、ネットワークに発見フェーズで特定された全ての特徴を同時に開発させます。
RFCは、6つのOoDメソッドが挑戦的な不変トレーニングベンチマークであるColoredMNIST(Arjovsky et al., 2020)上で最高のパフォーマンスを達成するのを一貫して支援している。
さらに、現実的なCamelyon17タスクでは、OoD法とERM法の両方が、以前の計算可能な結果よりも少なくとも5\%$で、標準偏差を少なくとも4.1\%$で低減し、ハイパーパラメータチューニングとモデル選択をより信頼性を高める。
関連論文リスト
- Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。
本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。
提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
論文 参考訳（メタデータ） (2024-06-04T20:33:22Z) - Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - HomOpt: A Homotopy-Based Hyperparameter Optimization Method [10.11271414863925]
一般化加法モデル(GAM)とホモトピー最適化を組み合わせたデータ駆動型手法であるHomOptを提案する。
本稿では,HomOptが任意のメソッドの性能と有効性を向上し,連続離散およびカテゴリー領域空間上での最適収束を高速化する方法について述べる。
論文 参考訳（メタデータ） (2023-08-07T06:01:50Z) - Bidirectional Looking with A Novel Double Exponential Moving Average to
Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。
我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
論文 参考訳（メタデータ） (2023-07-02T18:16:06Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Robust expected improvement for Bayesian optimization [1.8130068086063336]
本稿では,BO/GPフレームワークに敵対的手法を組み込む,堅牢な予測改善(REI)と呼ばれる代理モデルとアクティブラーニング手法を提案する。
ベンチマーク・シンセティック・エクササイズと、様々な複雑さの実際の問題について、いくつかの競合相手と比較し、比較する。
論文 参考訳（メタデータ） (2023-02-16T22:34:28Z) - Tensor Train for Global Optimization Problems in Robotics [6.702251803443858]
多くの数値最適化手法の収束は、解法に与えられる初期推定に大きく依存する。
本稿では,グローバルオプティマ付近で既存の最適化解法を初期化するための手法を用いた新しい手法を提案する。
提案手法は,グローバル・オプティマに近づいたサンプルを複数モードで生成できることを示す。
論文 参考訳（メタデータ） (2022-06-10T13:18:26Z) - RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。
この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。
ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
論文 参考訳（メタデータ） (2021-10-27T05:37:12Z) - Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis [16.499651513178012]
分散ロバスト最適化(DRO)は、分散シフトに対してロバストなモデルを学ぶために広く使われている手法である。
目的関数はおそらく非滑らかであり,正規化勾配降下を有するにもかかわらず,非漸近収束を保証する。
論文 参考訳（メタデータ） (2021-10-24T14:56:38Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。