論文の概要: Hyperparameter-free deep active learning for regression problems via query synthesis

• arxiv url: http://arxiv.org/abs/2201.12632v1
• Date: Sat, 29 Jan 2022 18:41:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 15:17:08.190113
• Title: Hyperparameter-free deep active learning for regression problems via query synthesis
• Title（参考訳）: クエリ合成による回帰問題に対するハイパーパラメータフリー深層能動学習
• Authors: Simiao Ren, Yang Deng, Willie J. Padilla and Jordan Malof
• Abstract要約: 回帰問題に対する最初のDALクエリ合成手法を提案する。 我々は、最近提案されたニューラルアジョイント(NA)ソルバを用いて、連続入力領域のポイントを効率的に見つける。 NA-QBCは,各ベンチマーク問題に対するランダムサンプリングよりも平均性能がよいことがわかった。
• 参考スコア（独自算出の注目度）: 5.572747615014008
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In the past decade, deep active learning (DAL) has heavily focused upon classification problems, or problems that have some 'valid' data manifolds, such as natural languages or images. As a result, existing DAL methods are not applicable to a wide variety of important problems -- such as many scientific computing problems -- that involve regression on relatively unstructured input spaces. In this work we propose the first DAL query-synthesis approach for regression problems. We frame query synthesis as an inverse problem and use the recently-proposed neural-adjoint (NA) solver to efficiently find points in the continuous input domain that optimize the query-by-committee (QBC) criterion. Crucially, the resulting NA-QBC approach removes the one sensitive hyperparameter of the classical QBC active learning approach - the "pool size"- making NA-QBC effectively hyperparameter free. This is significant because DAL methods can be detrimental, even compared to random sampling, if the wrong hyperparameters are chosen. We evaluate Random, QBC and NA-QBC sampling strategies on four regression problems, including two contemporary scientific computing problems. We find that NA-QBC achieves better average performance than random sampling on every benchmark problem, while QBC can be detrimental if the wrong hyperparameters are chosen.
• Abstract（参考訳）: 過去10年間、深層能動学習(DAL)は分類問題や、自然言語や画像のような「無効」なデータ多様体を持つ問題に重点を置いてきた。 その結果、既存のDAL法は、比較的非構造的な入力空間での回帰を含む様々な重要な問題(科学計算問題など)には適用できない。 本研究では,回帰問題に対する最初のDALクエリ合成手法を提案する。 クエリ合成を逆問題として,最近提案されているneural-adjoint(na)ソルバを用いて,qbc(query-by-committee)基準を最適化した連続入力領域の点を効率的に見つける。 重要なことに、NA-QBCアプローチは古典的なQBCアクティブラーニングアプローチの1つの敏感なハイパーパラメータを排除し、NA-QBCを効果的にハイパーパラメータにする"プールサイズ"を実現する。 これはDAL法が不正なハイパーパラメータを選択する場合、ランダムサンプリングと比較しても有害である可能性があるためである。 我々は2つの現代科学計算問題を含む4つの回帰問題に対してランダム,QBC,NA-QBCサンプリング戦略を評価する。 NA-QBCは各ベンチマーク問題に対するランダムサンプリングよりも平均性能が優れており,間違ったハイパーパラメータを選択するとQBCは有害となる。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Enhancing Hypergradients Estimation: A Study of Preconditioning and Reparameterization [49.73341101297818]
  双レベル最適化は、内部最適化問題の解に依存する外的目的関数を最適化することを目的としている。 外部問題の過次性を計算する従来の方法は、Implicit Function Theorem (IFT) を使うことである。 IFT法の誤差について検討し,この誤差を低減するための2つの手法を解析した。
  論文  参考訳（メタデータ） (2024-02-26T17:09:18Z)
• Stability-Adjusted Cross-Validation for Sparse Linear Regression [5.156484100374059]
  k倍のクロスバリデーションのようなクロスバリデーション技術はスパース回帰の計算コストを大幅に増大させる。 クロスバリデーションメトリックの重み付け和とモデルの出力安定性を最小化するハイパーパラメータの選択を提案する。 我々の信頼度調整手順は、13の実世界のデータセット上で、テストセットエラーを平均で2%削減する。
  論文  参考訳（メタデータ） (2023-06-26T17:02:45Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• OptBA: Optimizing Hyperparameters with the Bees Algorithm for Improved Medical Text Classification [0.0]
  我々は,ビーズアルゴリズムを利用して,深層学習モデルのハイパーパラメータを微調整するOptBAを提案する。 実験の結果,約1.4%の精度向上が認められた。
  論文  参考訳（メタデータ） (2023-03-14T16:04:13Z)
• Contrastive Neural Ratio Estimation for Simulation-based Inference [15.354874711988662]
  Likelihood-to-evidence ratio Estimation は通常、バイナリ (NRE-A) またはマルチクラス (NRE-B) の分類タスクとしてキャストされる。 バイナリ分類フレームワークとは対照的に、現在のマルチクラスバージョンの定式化は本質的で未知のバイアス項を持つ。 我々は,NRE-Bに固有のバイアスを最適に含まないマルチクラスフレームワークを提案し,実践者が依存する診断を行う立場に置かれる。
  論文  参考訳（メタデータ） (2022-10-11T00:12:51Z)
• A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method [0.0]
  ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。 提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
  論文  参考訳（メタデータ） (2022-08-25T14:25:16Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)
• An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization [48.5614138038673]
  本稿では,高パラメータ探索評価のシナリオにおいて,SS (Sub-Sampling) と呼ばれる効率的で堅牢な帯域幅に基づくアルゴリズムを提案する。 また,BOSSと呼ばれる新しいパラメータ最適化アルゴリズムを開発した。 実験的な研究は、SSの理論的議論を検証し、多くのアプリケーションにおけるBOSSの優れた性能を実証する。
  論文  参考訳（メタデータ） (2020-07-11T03:15:21Z)
• Hardness of Random Optimization Problems for Boolean Circuits, Low-Degree Polynomials, and Langevin Dynamics [78.46689176407936]
  アルゴリズムの族は高い確率でほぼ最適な解を生成できないことを示す。 ブール回路の場合、回路複雑性理論で知られている最先端境界を改善する。
  論文  参考訳（メタデータ） (2020-04-25T05:45:59Z)
• Weighted Random Search for Hyperparameter Optimization [0.0]
  本稿では,機械学習アルゴリズムのハイパーパラメータ最適化に使用されるRandom Search(RS)の改良版を紹介する。 我々は、標準RSとは異なり、変化の確率で各ハイパーパラメータに対して新しい値を生成する。 同じ計算予算内で、我々の手法は標準のRSよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-04-03T15:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。