論文の概要: Naive Few-Shot Learning: Sequence Consistency Evaluation

• arxiv url: http://arxiv.org/abs/2205.12013v1
• Date: Tue, 24 May 2022 12:00:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 23:57:02.626404
• Title: Naive Few-Shot Learning: Sequence Consistency Evaluation
• Title（参考訳）: naive few-shot learning: シーケンス一貫性の評価
• Authors: Tomer Barak and Yonatan Loewenstein
• Abstract要約: 人間とは対照的に、ディープニューラルネットワークは広範な(事前)トレーニング後にのみ認知タスクを実行することができる。 このタスクでは、単純なネットワークの方が複雑なネットワークよりも優れていることを示す。 このアプローチは、事前のトレーニングを必要とせずに、セキュリティカメラの異常検出に使用することができる。
• 参考スコア（独自算出の注目度）: 1.0152838128195465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cognitive psychologists often use the term $\textit{fluid intelligence}$ to describe the ability of humans to solve novel tasks without any prior training. In contrast to humans, deep neural networks can perform cognitive tasks only after extensive (pre-)training with a large number of relevant examples. Motivated by fluid intelligence research in the cognitive sciences, we built a benchmark task which we call sequence consistency evaluation (SCE) that can be used to address this gap. Solving the SCE task requires the ability to extract simple rules from sequences, a basic computation that is required for solving various intelligence tests in humans. We tested $\textit{untrained}$ (naive) deep learning models in the SCE task. Specifically, we compared Relation Networks (RN) and Contrastive Predictive Coding (CPC), two models that can extract simple rules from sequences, and found that the latter, which imposes a structure on the predictable rule does better. We further found that simple networks fare better in this task than complex ones. Finally, we show that this approach can be used for security camera anomaly detection without any prior training.
• Abstract（参考訳）: 認知心理学者はしばしば「\textit{fluid intelligence}$」という用語を使って、事前の訓練なしで新しいタスクを解決できる能力を記述する。 人間とは対照的に、ディープニューラルネットワークは、多数の関連する例で広範な(事前)トレーニングを行った後のみ、認知タスクを実行することができる。 認知科学における流体インテリジェンスの研究によって動機づけられた私たちは、このギャップに対処できるシーケンス整合性評価(SCE)と呼ばれるベンチマークタスクを構築しました。 SCEタスクの解決には、人間の様々な知能テストの解決に必要な基本的な計算であるシーケンスから単純なルールを抽出する能力が必要である。 SCEタスクで、$\textit{untrained}$ (naive)ディープラーニングモデルをテストしました。 具体的には、シーケンスから単純なルールを抽出できる2つのモデルである関係ネットワーク(RN)とコントラスト予測符号化(CPC)を比較し、予測可能なルールに構造を課す後者の方がよいことを示した。 さらに,単純なネットワークが複雑なネットワークよりも優れていることも分かりました。 最後に,このアプローチを事前のトレーニングなしに,セキュリティカメラ異常検出に使用できることを示す。

関連論文リスト

• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Continual Prune-and-Select: Class-incremental learning with specialized subnetworks [66.4795381419701]
  CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。 これは、クラス増分学習における第一級の結果である。
  論文  参考訳（メタデータ） (2022-08-09T10:49:40Z)
• Uncertainty Quantification and Resource-Demanding Computer Vision Applications of Deep Learning [5.130440339897478]
  ディープニューラルネットワーク(DNN)を安全クリティカルなアプリケーションに導入するには、モデルの不確実性を徹底的に扱う必要がある。 本稿では、新しいオブジェクトクラスに遭遇したとき、DNNに不確実性を示す方法について調査する。 また、不確実性定量化の助けを借りて、少数のラベルから学習する訓練方法を提案する。
  論文  参考訳（メタデータ） (2022-05-30T08:31:03Z)
• The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
  自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。 本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
  論文  参考訳（メタデータ） (2022-05-29T14:57:33Z)
• Hierarchical Skills for Efficient Exploration [70.62309286348057]
  強化学習において、事前訓練された低レベルスキルは、探索を大幅に促進する可能性がある。 下流タスクの以前の知識は、スキルデザインにおける一般性(きめ細かい制御)と特異性(より高速な学習)の適切なバランスをとるために必要である。 教師なしの方法で様々な複雑さのスキルを習得する階層的スキル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-20T22:29:32Z)
• Unsupervised Deep Learning by Injecting Low-Rank and Sparse Priors [5.5586788751870175]
  我々は,高次元データの性質を簡潔に捉えるために,深層学習に疎結合を取り入れることに重点を置いている。 低ランクおよびスパース先行値を用いたバックグラウンドサブトラクションのための教師なしU-Net学習を実演する。
  論文  参考訳（メタデータ） (2021-06-21T08:41:02Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Continuous Learning in a Single-Incremental-Task Scenario with Spike Features [0.0]
  ディープニューラルネットワーク(DNN)には、高精度コンピューティングへの依存と、シーケンシャルラーニングの実行能力の欠如という、2つの重要な欠陥がある。 ここでは,ネットワークの特徴抽出層にバイオインスパイアされたスパイクタイミング依存塑性(STDP)を用いて,意味のある特徴を抽出する。 ネットワークの分類セクションでは、私たちはシナプス単位のコストを正則化器として参照する修正シナプスインテリジェンスを使用し、破滅的な忘れ込みに対してネットワークを免疫する。
  論文  参考訳（メタデータ） (2020-05-03T16:18:20Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。