論文の概要: Solving the Same-Different Task with Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2101.09129v1
- Date: Fri, 22 Jan 2021 14:35:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 17:24:11.189794
- Title: Solving the Same-Different Task with Convolutional Neural Networks
- Title（参考訳）: 畳み込みニューラルネットワークによる同一課題の解法
- Authors: Nicola Messina, Giuseppe Amato, Fabio Carrara, Claudio Gennaro,
Fabrizio Falchi
- Abstract要約: 私たちは、現在の最新の畳み込みニューラルネットワークを、同じ異なる問題と呼ばれる困難なタスクセットで調査します。
すべての問題は、同じ画像内の2つのランダムな形状が同じかどうかを理解するという、同じ前提条件を正しく解く必要がある。
本研究で実施した実験により, 残差接続, より一般的にはスキップ接続は, 提案した問題の学習に限られた影響しか与えないことを示した。
- 参考スコア（独自算出の注目度）: 13.658244210412352
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning demonstrated major abilities in solving many kinds of different
real-world problems in computer vision literature. However, they are still
strained by simple reasoning tasks that humans consider easy to solve. In this
work, we probe current state-of-the-art convolutional neural networks on a
difficult set of tasks known as the same-different problems. All the problems
require the same prerequisite to be solved correctly: understanding if two
random shapes inside the same image are the same or not. With the experiments
carried out in this work, we demonstrate that residual connections, and more
generally the skip connections, seem to have only a marginal impact on the
learning of the proposed problems. In particular, we experiment with DenseNets,
and we examine the contribution of residual and recurrent connections in
already tested architectures, ResNet-18, and CorNet-S respectively. Our
experiments show that older feed-forward networks, AlexNet and VGG, are almost
unable to learn the proposed problems, except in some specific scenarios. We
show that recently introduced architectures can converge even in the cases
where the important parts of their architecture are removed. We finally carry
out some zero-shot generalization tests, and we discover that in these
scenarios residual and recurrent connections can have a stronger impact on the
overall test accuracy. On four difficult problems from the SVRT dataset, we can
reach state-of-the-art results with respect to the previous approaches,
obtaining super-human performances on three of the four problems.
- Abstract（参考訳）: 深層学習はコンピュータビジョン文学における様々な現実世界の問題を解く上で大きな能力を示した。
しかし、それらは人間が容易に解決できると考える単純な推論タスクに悩まされている。
本研究では,現在最先端の畳み込みニューラルネットワークを,同種差分問題として知られる困難なタスクの集合上で探索する。
すべての問題は、同じ画像内の2つのランダムな形状が同じかどうかを理解するという、同じ前提条件を正しく解く必要がある。
本研究で実施した実験により, 残差接続, より一般的にはスキップ接続は, 提案した問題の学習に限られた影響しか与えないことを示した。
特に,我々はDenseNetsを実験し,すでにテスト済みアーキテクチャであるResNet-18,CorNet-Sにおける残差および繰り返し接続の寄与について検討した。
実験の結果,古いフィードフォワードネットワークであるAlexNetとVGGは,特定のシナリオを除いて,提案した問題をほとんど学習できないことがわかった。
最近導入されたアーキテクチャは、アーキテクチャの重要な部分が取り除かれても収束できることを示す。
最終的にゼロショットの一般化テストを実施し、これらのシナリオでは、残差と繰り返し接続が全体のテスト精度に強い影響を与えることが判明した。
SVRTデータセットから得られた4つの難解な問題に対して、従来のアプローチに関して最先端の結果に到達し、4つの問題のうち3つについて超人的な性能を得る。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - Adaptive recurrent vision performs zero-shot computation scaling to
unseen difficulty levels [6.053394076324473]
また,適応計算により,学習分布の難易度を超える解を視覚モデルで外挿できるかどうかを検討する。
畳み込みリカレントニューラルネットワーク(ConvRNN)とGraves(PathFinder)とMazes(Mazes)をベースとした学習可能なメカニズムを組み合わせる。
本稿では,AdRNNが早期(ないし遅れ)の処理を動的に停止して,より容易(あるいは困難)な問題を解消できることを示し,また,テスト時の繰り返し回数を動的に増加させることで,トレーニング中に表示されないより困難な問題設定に0ショットを一般化する。
論文 参考訳（メタデータ） (2023-11-12T21:07:04Z) - Auxiliary-Tasks Learning for Physics-Informed Neural Network-Based
Partial Differential Equations Solving [13.196871939441273]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)を解くための有望な代理モードとして登場した。
本研究では,4種類の補助タスク学習モードを提供する補助タスク学習ベースのATL-PINNを提案する。
その結果,提案した補助タスク学習モードは解の精度を大幅に向上し,96.62%の最大性能向上を達成できることがわかった。
論文 参考訳（メタデータ） (2023-07-12T13:46:40Z) - Universal Representations: A Unified Look at Multiple Task and Domain
Learning [37.27708297562079]
本稿では,複数の視覚タスクと視覚領域を共通表現によって統合的に学習することを提案する。
複数の密接な予測問題の学習において、普遍表現が最先端のパフォーマンスを達成することを示す。
また、アブレーションと定性的な研究を通じて複数の分析を行う。
論文 参考訳（メタデータ） (2022-04-06T11:40:01Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳（メタデータ） (2021-09-02T16:06:45Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Thinking Deeply with Recurrence: Generalizing from Easy to Hard
Sequential Reasoning Problems [51.132938969015825]
我々は、リカレントネットワークは、非リカレントディープモデルの振る舞いを詳細にエミュレートする能力を有することを観察する。
再帰ステップの少ない単純な迷路を解くように訓練された再帰ネットワークは、推論中に追加の繰り返しを実行するだけで、より複雑な問題を解決することができる。
論文 参考訳（メタデータ） (2021-02-22T14:09:20Z) - ARCADe: A Rapid Continual Anomaly Detector [25.34227775187408]
連続異常検出(CAD)の新しい学習問題に対処する。
ニューラルネットをトレーニングするアプローチであるARCADeを提案する。
3つのデータセットを用いた実験の結果、ARCADeは連続学習と異常検出の文献からベースラインを大幅に上回っていることがわかった。
論文 参考訳（メタデータ） (2020-08-10T11:59:32Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - The Curious Case of Convex Neural Networks [12.56278477726461]
完全連結層と畳み込み層の両方に凸性制約を適用可能であることを示す。
a) IOC-NN(Input Output Convex Neural Networks)の自己正規化とオーバーフィッティング(オーバーフィッティング)の問題の低減; (b) 厳しい制約にもかかわらず、ベースマルチレイヤのパーセプトロンを上回り、ベースコンボリューションアーキテクチャと比較して同様のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-06-09T08:16:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。