論文の概要: Hyperparameter-free deep active learning for regression problems via
query synthesis
- arxiv url: http://arxiv.org/abs/2201.12632v1
- Date: Sat, 29 Jan 2022 18:41:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 15:17:08.190113
- Title: Hyperparameter-free deep active learning for regression problems via
query synthesis
- Title(参考訳): クエリ合成による回帰問題に対するハイパーパラメータフリー深層能動学習
- Authors: Simiao Ren, Yang Deng, Willie J. Padilla and Jordan Malof
- Abstract要約: 回帰問題に対する最初のDALクエリ合成手法を提案する。
我々は、最近提案されたニューラルアジョイント(NA)ソルバを用いて、連続入力領域のポイントを効率的に見つける。
NA-QBCは,各ベンチマーク問題に対するランダムサンプリングよりも平均性能がよいことがわかった。
- 参考スコア(独自算出の注目度): 5.572747615014008
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In the past decade, deep active learning (DAL) has heavily focused upon
classification problems, or problems that have some 'valid' data manifolds,
such as natural languages or images. As a result, existing DAL methods are not
applicable to a wide variety of important problems -- such as many scientific
computing problems -- that involve regression on relatively unstructured input
spaces. In this work we propose the first DAL query-synthesis approach for
regression problems. We frame query synthesis as an inverse problem and use the
recently-proposed neural-adjoint (NA) solver to efficiently find points in the
continuous input domain that optimize the query-by-committee (QBC) criterion.
Crucially, the resulting NA-QBC approach removes the one sensitive
hyperparameter of the classical QBC active learning approach - the "pool size"-
making NA-QBC effectively hyperparameter free. This is significant because DAL
methods can be detrimental, even compared to random sampling, if the wrong
hyperparameters are chosen. We evaluate Random, QBC and NA-QBC sampling
strategies on four regression problems, including two contemporary scientific
computing problems. We find that NA-QBC achieves better average performance
than random sampling on every benchmark problem, while QBC can be detrimental
if the wrong hyperparameters are chosen.
- Abstract(参考訳): 過去10年間、深層能動学習(DAL)は分類問題や、自然言語や画像のような「無効」なデータ多様体を持つ問題に重点を置いてきた。
その結果、既存のDAL法は、比較的非構造的な入力空間での回帰を含む様々な重要な問題(科学計算問題など)には適用できない。
本研究では,回帰問題に対する最初のDALクエリ合成手法を提案する。
クエリ合成を逆問題として,最近提案されているneural-adjoint(na)ソルバを用いて,qbc(query-by-committee)基準を最適化した連続入力領域の点を効率的に見つける。
重要なことに、NA-QBCアプローチは古典的なQBCアクティブラーニングアプローチの1つの敏感なハイパーパラメータを排除し、NA-QBCを効果的にハイパーパラメータにする"プールサイズ"を実現する。
これはDAL法が不正なハイパーパラメータを選択する場合、ランダムサンプリングと比較しても有害である可能性があるためである。
我々は2つの現代科学計算問題を含む4つの回帰問題に対してランダム,QBC,NA-QBCサンプリング戦略を評価する。
NA-QBCは各ベンチマーク問題に対するランダムサンプリングよりも平均性能が優れており,間違ったハイパーパラメータを選択するとQBCは有害となる。
関連論文リスト
- Enhancing Hypergradients Estimation: A Study of Preconditioning and
Reparameterization [49.73341101297818]
双レベル最適化は、内部最適化問題の解に依存する外的目的関数を最適化することを目的としている。
外部問題の過次性を計算する従来の方法は、Implicit Function Theorem (IFT) を使うことである。
IFT法の誤差について検討し,この誤差を低減するための2つの手法を解析した。
論文 参考訳(メタデータ) (2024-02-26T17:09:18Z) - Quantum Annealing Solutions for the Closest String Problem with D-Wave
Systems [0.0]
クローズストストリング問題(Closest String problem)は、生物情報学や符号化理論でよく見られるNP完全問題である。
2つのQUBOの定式化が提案されており、1つはもう1つに対してわずかに修正されている。
DWaveアナライザは、特定のプラットフォーム固有の関心事に対する最適なガイドラインを提供しながら使われてきた。
論文 参考訳(メタデータ) (2023-10-19T16:03:25Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-10-08T23:39:38Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳(メタデータ) (2022-08-25T14:25:16Z) - QROSS: QUBO Relaxation Parameter Optimisation via Learning Solver
Surrogates [14.905085636501438]
問題のインスタンスの集合に関するソルバデータから学習することで,quboソルバのサロゲートモデルを構築する。
このようにして、インスタンスの共通構造とそれらの解決者との相互作用を捉えることができ、ペナルティパラメータを適切に選択することができる。
qrossは分散型データセットや様々な種類のquboソルバによく一般化されている。
論文 参考訳(メタデータ) (2021-03-19T09:06:12Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z) - An Asymptotically Optimal Multi-Armed Bandit Algorithm and
Hyperparameter Optimization [48.5614138038673]
本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。
また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。
実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
論文 参考訳(メタデータ) (2020-07-11T03:15:21Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳(メタデータ) (2020-06-03T08:53:48Z) - Hardness of Random Optimization Problems for Boolean Circuits,
Low-Degree Polynomials, and Langevin Dynamics [78.46689176407936]
アルゴリズムの族は高い確率でほぼ最適な解を生成できないことを示す。
ブール回路の場合、回路複雑性理論で知られている最先端境界を改善する。
論文 参考訳(メタデータ) (2020-04-25T05:45:59Z) - Weighted Random Search for Hyperparameter Optimization [0.0]
本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。
我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。
同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
論文 参考訳(メタデータ) (2020-04-03T15:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。