論文の概要: Extrapolation Frameworks in Cognitive Psychology Suitable for Study of Image Classification Models

• arxiv url: http://arxiv.org/abs/2112.03411v1
• Date: Mon, 6 Dec 2021 23:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 13:55:05.707392
• Title: Extrapolation Frameworks in Cognitive Psychology Suitable for Study of Image Classification Models
• Title（参考訳）: 画像分類モデル研究に適した認知心理学における外挿枠組み
• Authors: Roozbeh Yousefzadeh, Jessica A. Mollick
• Abstract要約: 深層学習文学とは対照的に、認知科学、心理学、神経科学では、外挿と学習はタンデムでしばしば研究される。 本稿では,ディープラーニングモデルの数学的研究のための新しい外挿フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the functional task of deep learning image classification models and show that image classification requires extrapolation capabilities. This suggests that new theories have to be developed for the understanding of deep learning as the current theory assumes models are solely interpolating, leaving many questions about them unanswered. We investigate the pixel space and also the feature spaces extracted from images by trained models (in their hidden layers, including the 64-dimensional feature space in the last hidden layer of pre-trained residual neural networks), and also the feature space extracted by wavelets/shearlets. In all these domains, testing samples considerably fall outside the convex hull of training sets, and image classification requires extrapolation. In contrast to the deep learning literature, in cognitive science, psychology, and neuroscience, extrapolation and learning are often studied in tandem. Moreover, many aspects of human visual cognition and behavior are reported to involve extrapolation. We propose a novel extrapolation framework for the mathematical study of deep learning models. In our framework, we use the term extrapolation in this specific way of extrapolating outside the convex hull of training set (in the pixel space or feature space) but within the specific scope defined by the training data, the same way extrapolation is defined in many studies in cognitive science. We explain that our extrapolation framework can provide novel answers to open research problems about deep learning including their over-parameterization, their training regime, out-of-distribution detection, etc. We also see that the extent of extrapolation is negligible in learning tasks where deep learning is reported to have no advantage over simple models.
• Abstract（参考訳）: 深層学習画像分類モデルの機能課題について検討し,画像分類に外挿機能が必要であることを示す。 これは、モデルが単に補間していると仮定する現在の理論から、深層学習を理解するために新しい理論が開発されなければならないことを示唆している。 トレーニングされたモデルにより画像から抽出された画素空間と特徴空間(トレーニング済み残留ニューラルネットワークの最後の隠蔽層における64次元特徴空間を含む)、およびウェーブレット/シャーレットによって抽出された特徴空間についても検討する。 これらすべての領域において、テストサンプルはトレーニングセットの凸殻の外側にかなり減少し、画像分類には外挿が必要となる。 深層学習文学とは対照的に、認知科学、心理学、神経科学では、外挿と学習はタンデムでしばしば研究される。 さらに、人間の視覚認知と行動の多くの側面が外挿を含むと報告されている。 本稿では,深層学習モデルの数学的研究のための新しい外挿フレームワークを提案する。 本フレームワークでは, トレーニングセットの凸内外挿(画素空間や特徴空間内)において外挿という用語を用いるが, トレーニングデータによって定義された特定の範囲内では, 認知科学における多くの研究で外挿が定義されているのと同様である。 我々は,外挿フレームワークが,その過剰パラメータ化やトレーニングレジーム,分散検出など,ディープラーニングに関するオープンリサーチ問題に対する新たな回答を提供することができることを述べる。 また、深層学習が単純なモデルよりも有利であると報告された学習タスクにおいて、外挿の程度は無視できる。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• How language models extrapolate outside the training data: A case study in Textualized Gridworld [32.5268320198854]
  我々は、次のトークン予測や思考の微調整を含む従来の手法は、より大きな、目に見えない環境では外挿できないことを示す。 人間の心的表現をシミュレートする新しいCoTフレームワークであるパス計画のための認知マップを提案する。 言語モデルにおける汎用認知地図の開発について,これらの認知地図が専門的な学習手法を必要とすることを知ると,重要な疑問が浮き彫りになる。
  論文  参考訳（メタデータ） (2024-06-21T16:10:05Z)
• Free-ATM: Exploring Unsupervised Learning on Diffusion-Generated Images with Free Attention Masks [64.67735676127208]
  テキストと画像の拡散モデルは、画像認識の恩恵を受ける大きな可能性を示している。 有望ではあるが、拡散生成画像の教師なし学習に特化した調査は不十分である。 上記フリーアテンションマスクをフル活用することで、カスタマイズされたソリューションを導入する。
  論文  参考訳（メタデータ） (2023-08-13T10:07:46Z)
• Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
  抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。 本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-23T12:50:02Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Reliable extrapolation of deep neural operators informed by physics or sparse observations [2.887258133992338]
  ディープニューラルネットワークは、ディープニューラルネットワークを介して無限次元関数空間間の非線形マッピングを学習することができる。 DeepONetsは科学と工学の新しいシミュレーションパラダイムを提供する。 本稿では,外挿下での安全な予測を保証する5つの信頼性学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-13T03:02:46Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Decision boundaries and convex hulls in the feature space that deep learning functions learn from images [0.0]
  画像から抽出・学習する低次元多様体の特性について検討する。 画像分類モデルでは、最後に隠されたレイヤは、各クラスのイメージが他のクラスから分離され、最小限の機能を持つ層である。 特徴空間における決定境界の幾何学的配置は画素空間とは大きく異なる。
  論文  参考訳（メタデータ） (2022-02-05T15:09:51Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Extracting Global Dynamics of Loss Landscape in Deep Learning Models [0.0]
  本稿では,DOODL3 (Dynamical Organization of Deep Learning Loss Landscapes) のためのツールキットを提案する。 DOODL3は、ニューラルネットワークのトレーニングを動的システムとして定式化し、学習プロセスを分析し、損失ランドスケープにおける軌跡の解釈可能なグローバルビューを示す。
  論文  参考訳（メタデータ） (2021-06-14T18:07:05Z)
• Interactive Visual Study of Multiple Attributes Learning Model of X-Ray Scattering Images [34.95218692917125]
  本稿では,X線散乱画像に適用した複数の属性学習モデルを視覚的に研究するための対話型システムを提案する。 この探索は、属性間の相互関係に関連するモデル性能の顕在化によって導かれる。 したがって、このシステムはドメインサイエンティストをサポートし、トレーニングデータセットとモデルを改善し、疑問のある属性ラベルを見つけ、外れやすい画像や素早いデータクラスタを識別する。
  論文  参考訳（メタデータ） (2020-09-03T00:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。