論文の概要: Deep Active Learning with Structured Neural Depth Search

• arxiv url: http://arxiv.org/abs/2306.02808v1
• Date: Mon, 5 Jun 2023 12:00:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 15:20:58.511763
• Title: Deep Active Learning with Structured Neural Depth Search
• Title（参考訳）: 構造化ニューラル深さ探索による深層能動学習
• Authors: Xiaoyun Zhang, Xieyi Ping and Jianwei Zhang
• Abstract要約: Active-iNASは、複数のモデルを訓練し、各アクティブラーニングサイクルの後に、その後のサンプルをクエリする最適な一般化性能でモデルを選択する。 本稿では,SVI(Structured Variational Inference)あるいはSNDS(Structured Neural Deep Search)と呼ばれる手法を用いた新しいアクティブ戦略を提案する。 同時に、理論上は、平均場推定に基づく現在のVIベースの手法が性能を低下させる可能性があることを実証している。
• 参考スコア（独自算出の注目度）: 18.180995603975422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous work optimizes traditional active learning (AL) processes with incremental neural network architecture search (Active-iNAS) based on data complexity change, which improves the accuracy and learning efficiency. However, Active-iNAS trains several models and selects the model with the best generalization performance for querying the subsequent samples after each active learning cycle. The independent training processes lead to an insufferable computational budget, which is significantly inefficient and limits search flexibility and final performance. To address this issue, we propose a novel active strategy with the method called structured variational inference (SVI) or structured neural depth search (SNDS) whereby we could use the gradient descent method in neural network depth search during AL processes. At the same time, we theoretically demonstrate that the current VI-based methods based on the mean-field assumption could lead to poor performance. We apply our strategy using three querying techniques and three datasets and show that our strategy outperforms current methods.
• Abstract（参考訳）: これまでの研究は、データ複雑性の変化に基づいて、インクリメンタルニューラルネットワークアーキテクチャ検索(active-inas)を使用して、従来のアクティブラーニング(al)プロセスを最適化し、精度と学習効率を向上させる。 しかし、Active-iNASは複数のモデルを訓練し、各アクティブラーニングサイクルの後に次のサンプルをクエリする最適な一般化性能でモデルを選択する。 独立したトレーニングプロセスは、非効率で検索の柔軟性と最終的なパフォーマンスを制限し、補充不可能な計算予算につながる。 そこで我々は, ニューラルネットワーク深度探索において, ニューラルネットワーク深度探索に勾配降下法を用いることで, SVI (Structured Variational Inference) あるいはSNDS (Structured Neural Deep depth Search) と呼ばれる手法を用いて, 新たなアクティブ戦略を提案する。 同時に, 平均場推定に基づく現在のviベース手法が, 性能低下につながる可能性を理論的に証明した。 3つのクエリ技術と3つのデータセットを使って戦略を適用し、我々の戦略が現在の手法より優れていることを示す。

関連論文リスト

• Active Learning of Deep Neural Networks via Gradient-Free Cutting Planes [40.68266398473983]
  本研究では,任意の深さのReLULUネットワークに対して,斬新な切削平面法による能動的学習手法について検討する。 非線形収束にもかかわらず、これらのアルゴリズムはディープニューラルネットワークに拡張可能であることを実証する。 提案手法は,データ実験と実データセットの分類の両方を通じて,一般的な深層学習ベースラインに対する有効性を示す。
  論文  参考訳（メタデータ） (2024-10-03T02:11:35Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks [0.0]
  この研究は、勾配サンプリング最適化技術、特にStochGradAdamをニューラルネットワークのプルーニングプロセスに統合するパイオニアとなる。 我々の主な目的は、資源制約のあるシナリオにおいて重要なプルーニングニューラルネットワークモデルの精度を維持するという重要な課題に対処することである。
  論文  参考訳（メタデータ） (2023-12-26T12:19:22Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。