論文の概要: It's DONE: Direct ONE-shot learning without training optimization
- arxiv url: http://arxiv.org/abs/2204.13361v1
- Date: Thu, 28 Apr 2022 09:09:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 14:24:57.493215
- Title: It's DONE: Direct ONE-shot learning without training optimization
- Title（参考訳）: 終わった: トレーニング最適化なしの直接ワンショット学習
- Authors: Kazufumi Hosoda, Keigo Nishida, Shigeto Seno, Tomohiro Mashita, Hideki
Kashioka, Izumi Ohzawa
- Abstract要約: 直接一発学習(DONE)は、一つの例から新しい概念を学ぶ最も簡単な方法である。
DONEは事前訓練されたディープニューラルネットワーク(DNN)分類器に新しいクラスを追加する。
DONEは最後の高密度層の出力を得るために1つの推論しか必要としない。
- 参考スコア（独自算出の注目度）: 0.7340017786387767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning a new concept from one example is a superior function of human brain
and it is drawing attention in the field of machine learning as one-shot
learning task. In this paper, we propose the simplest method for this task,
named Direct ONE-shot learning (DONE). DONE adds a new class to a pretrained
deep neural network (DNN) classifier with neither training optimization nor
other-classes modification. DONE is inspired by Hebbian theory and directly
uses the neural activity input of the final dense layer obtained from a data
that belongs to the new additional class as the connectivity weight (synaptic
strength) with a newly-provided-output neuron for the new class. DONE requires
just one inference for obtaining the output of the final dense layer and its
procedure is simple, deterministic, not requiring parameter tuning and
hyperparameters. The performance of DONE depends entirely on the pretrained DNN
model used as a backbone model, and we confirmed that DONE with a well-trained
backbone model performs a practical-level accuracy. DONE has some advantages
including a DNN's practical use that is difficult to spend high cost for a
training, an evaluation of existing DNN models, and the understanding of the
brain. DONE might be telling us one-shot learning is an easy task that can be
achieved by a simple principle not only for humans but also for current
well-trained DNN models.
- Abstract（参考訳）: ある例から新しい概念を学ぶことは人間の脳の優れた機能であり、一発学習タスクとしての機械学習の分野で注目を集めている。
本稿では,DONE(Direct ONE-shot Learning)という,このタスクの最もシンプルな手法を提案する。
DONEは事前訓練されたディープニューラルネットワーク(DNN)分類器に新しいクラスを追加する。
DONEはヘビアン理論にインスパイアされ、新しい追加クラスに属するデータから得られる最終密度層の神経活動入力を、新しいクラスのために新たに提案された出力ニューロンと接続重量(シナプス強度)として直接利用する。
DONEは最終密度層の出力を得るために1つの推論しか必要とせず、その手順は単純で決定論的であり、パラメータチューニングやハイパーパラメータを必要としない。
DONEの性能は、バックボーンモデルとして使用される事前訓練されたDNNモデルに完全に依存しており、よく訓練されたバックボーンモデルを持つDONEが実用的なレベルの精度を発揮することを確認した。
DONEには、トレーニングに高コストを費やすのが難しいDNNの実践的使用、既存のDNNモデルの評価、脳の理解など、いくつかの利点がある。
DONEは、人間だけでなく、現在よく訓練されているDNNモデルにも簡単な原理で実現できる、ワンショット学習を教えてくれるかもしれない。
関連論文リスト
- Training Better Deep Learning Models Using Human Saliency [11.295653130022156]
本研究では、画像の正常領域に関する人間の判断が、ディープ畳み込みニューラルネットワーク(DCNN)トレーニングにどのように導入できるかを考察する。
本稿では,ConveYs Brain Oversight to raise Generalization (CYBORG) における損失関数の新たな構成要素を提案する。
論文 参考訳（メタデータ） (2024-10-21T16:52:44Z) - On Newton's Method to Unlearn Neural Networks [44.85793893441989]
ニューラルネット(NN)に対する近似的未学習アルゴリズムを探索し、同じモデルを再学習したオラクルに返却する。
本稿では, 立方正則化を利用してヘッセン系縮退を効果的に処理するCureNewton法を提案する。
異なるモデルとデータセットをまたいだ実験により、我々の手法は、実践的な未学習環境で最先端のアルゴリズムと競合する未学習性能を達成できることを示した。
論文 参考訳（メタデータ） (2024-06-20T17:12:20Z) - BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。
我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。
提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
論文 参考訳（メタデータ） (2024-03-23T08:40:38Z) - Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。
我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。
提案するフレームワークは,合理的な性能で高い効率性を示す。
論文 参考訳（メタデータ） (2023-04-20T07:21:32Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T04:23:12Z) - Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳（メタデータ） (2022-10-14T16:31:24Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。
我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。
本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文 参考訳（メタデータ） (2021-12-15T20:15:01Z) - One Representative-Shot Learning Using a Population-Driven Template with
Application to Brain Connectivity Classification and Evolution Prediction [0.0]
グラフニューラルネットワーク(GNN)は、ネットワーク神経科学の分野に導入されている。
私たちは、GNNのトレーニングにおいて、まったく異なるアプローチを取っています。
我々は、GNNが単一集団駆動型テンプレートで訓練される最初のワンショットパラダイムを示す。
論文 参考訳（メタデータ） (2021-10-06T08:36:00Z) - The training accuracy of two-layer neural networks: its estimation and
understanding using random datasets [0.0]
本研究では,空間分割に基づく新しい理論を提案し,ランダムデータセット上の2層ニューラルネットワークのトレーニング精度をトレーニングなしで推定する。
提案手法は,3つの引数のみを用いて,2種類のランダムデータセット上での2層完全連結ニューラルネットワークのトレーニング精度を推定する。
論文 参考訳（メタデータ） (2020-10-26T07:21:29Z) - Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via
Calibrated Dirichlet Prior RNN [98.4713940310056]
現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。
最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。
疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
論文 参考訳（メタデータ） (2020-10-16T02:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。