論文の概要: Immediate generalisation in humans but a generalisation lag in deep
neural networks -- evidence for representational divergence?
- arxiv url: http://arxiv.org/abs/2402.09303v2
- Date: Mon, 19 Feb 2024 11:29:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 00:41:37.252426
- Title: Immediate generalisation in humans but a generalisation lag in deep
neural networks -- evidence for representational divergence?
- Title（参考訳）: 人間の即時一般化は、ディープニューラルネットワークの一般化ラグ -- 表現の相違の証拠?
- Authors: Lukas S. Huber, Fred W. Mast and Felix A. Wichmann
- Abstract要約: 近年の研究では、画像分類分野における人間とディープニューラルネットワーク(DNN)の行動比較が数多く行われている。
本稿では、人間の観察者において、転送可能な表現がどのように獲得されるかについて詳細に調査する。
- 参考スコア（独自算出の注目度）: 3.4091550918714546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent research has seen many behavioral comparisons between humans and deep
neural networks (DNNs) in the domain of image classification. Often, comparison
studies focus on the end-result of the learning process by measuring and
comparing the similarities in the representations of object categories once
they have been formed. However, the process of how these representations emerge
-- that is, the behavioral changes and intermediate stages observed during the
acquisition -- is less often directly and empirically compared. Here we report
a detailed investigation of how transferable representations are acquired in
human observers and various classic and state-of-the-art DNNs. We develop a
constrained supervised learning environment in which we align learning-relevant
parameters such as starting point, input modality, available input data and the
feedback provided. Across the whole learning process we evaluate and compare
how well learned representations can be generalized to previously unseen test
data. Our findings indicate that in terms of absolute classification
performance DNNs demonstrate a level of data efficiency comparable to -- and
sometimes even exceeding that -- of human learners, challenging some prevailing
assumptions in the field. However, comparisons across the entire learning
process reveal significant representational differences: while DNNs' learning
is characterized by a pronounced generalisation lag, humans appear to
immediately acquire generalizable representations without a preliminary phase
of learning training set-specific information that is only later transferred to
novel data.
- Abstract（参考訳）: 近年の研究では、画像分類分野における人間とディープニューラルネットワーク(DNN)の行動比較が数多く行われている。
しばしば比較研究は、一度形成されてからオブジェクトカテゴリの表現の類似性を測定し比較することにより、学習プロセスのエンド・リゾルトに焦点を当てている。
しかし、これらの表現の出現過程、すなわち、獲得中に観察される行動変化と中間段階は、直接的かつ経験的に比較されることが少なくなる。
本稿では、人間の観察者や様々な古典的かつ最先端のDNNにおいて、転送可能な表現がどのように獲得されるかについて詳細に調査する。
我々は,開始点,入力モダリティ,利用可能な入力データ,提供されたフィードバックなどの学習関連パラメータを整合させる制約付き教師付き学習環境を開発する。
学習プロセス全体を通して、学習された表現がいかによく認識されていないテストデータに一般化できるかを評価し比較します。
以上の結果から,dnnは人間の学習者のデータ効率に匹敵する(時にはそれを超える)水準を示し,その分野における一般的な仮定に挑戦していることが示唆された。
しかし、学習過程全体の比較では、DNNの学習は明らかに一般化ラグによって特徴づけられるが、人間は、後に新しいデータにのみ転送されるセット固有情報を学習する予備段階なしで、すぐに一般化可能な表現を取得するように見える。
関連論文リスト
- Evaluating alignment between humans and neural network representations in image-based learning tasks [5.657101730705275]
トレーニング済みの860ドルのニューラルネットワークモデルの表現が、人間の学習軌跡にどのようにマッピングされているかテストしました。
トレーニングデータセットのサイズは人間の選択に沿った中核的な決定要因であるのに対し、マルチモーダルデータ(テキストと画像)による対照的なトレーニングは、人間の一般化を予測するために現在公開されているモデルの一般的な特徴であることがわかった。
結論として、事前訓練されたニューラルネットワークは、タスク間で伝達可能な認知の基本的な側面を捉えているように見えるため、認知モデルのための表現を抽出するのに役立つ。
論文 参考訳（メタデータ） (2023-06-15T08:18:29Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Guiding Visual Attention in Deep Convolutional Neural Networks Based on
Human Eye Movements [0.0]
ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。
近年のディープラーニングの進歩は、この類似性を減らしているようだ。
有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
論文 参考訳（メタデータ） (2022-06-21T17:59:23Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - How to Train Your Neural Network: A Comparative Evaluation [1.3654846342364304]
大規模分散ディープラーニングのための最先端フレームワークについて論じ,比較する。
大規模画像と言語訓練における性能を比較した実験結果を示す。
この結果に基づいて,性能を阻害する各フレームワークのアルゴリズム的部分と実装的部分について議論する。
論文 参考訳（メタデータ） (2021-11-09T04:24:42Z) - Learning a Domain-Agnostic Visual Representation for Autonomous Driving
via Contrastive Loss [25.798361683744684]
ドメイン認識コントラスト学習(Domain-Agnostic Contrastive Learning、DACL)は、2段階の非監視ドメイン適応フレームワークである。
提案手法は,従来の最新手法に比べ,単眼深度推定作業における性能向上を実現した。
論文 参考訳（メタデータ） (2021-03-10T07:06:03Z) - Seeing eye-to-eye? A comparison of object recognition performance in
humans and deep convolutional neural networks under image manipulation [0.0]
本研究では,ヒトとフィードフォワードニューラルネットワークの視覚コア物体認識性能の行動比較を目的とした。
精度分析の結果、人間はDCNNを全ての条件で上回るだけでなく、形状や色の変化に対する強い堅牢性も示している。
論文 参考訳（メタデータ） (2020-07-13T10:26:30Z) - Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。
本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。
我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
論文 参考訳（メタデータ） (2020-07-07T17:19:56Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳（メタデータ） (2020-07-06T07:20:29Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳（メタデータ） (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。