Fugu-MT 論文翻訳(概要): On a Built-in Conflict between Deep Learning and Systematic Generalization

論文の概要: On a Built-in Conflict between Deep Learning and Systematic Generalization

arxiv url: http://arxiv.org/abs/2208.11633v1
Date: Wed, 24 Aug 2022 16:06:36 GMT
ステータス: 処理完了
システム内更新日: 2022-08-25 12:18:32.572830
Title: On a Built-in Conflict between Deep Learning and Systematic Generalization
Title（参考訳）: 深層学習と体系的一般化の対立について
Authors: Yuanpeng Li
Abstract要約: 内部関数共有は、o.o.d.を弱めたり、ディープラーニングの体系的な一般化の理由の1つである。このような現象は,完全連結,畳み込み,残差ネットワーク,LSTM,(視覚)トランスフォーマなど,標準的なディープラーニングモデルに現れる。
参考スコア（独自算出の注目度）: 2.588973722689844
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we hypothesize that internal function sharing is one of the reasons to weaken o.o.d. or systematic generalization in deep learning for classification tasks. Under equivalent prediction, a model partitions an input space into multiple parts separated by boundaries. The function sharing prefers to reuse boundaries, leading to fewer parts for new outputs, which conflicts with systematic generalization. We show such phenomena in standard deep learning models, such as fully connected, convolutional, residual networks, LSTMs, and (Vision) Transformers. We hope this study provides novel insights into systematic generalization and forms a basis for new research directions.
Abstract（参考訳）: 本稿では,内的機能共有がo.o.d.の弱体化や分類課題の深層学習における体系的一般化の一因であると仮定する。等価予測では、モデルが入力空間を境界によって区切られた複数の部分に分割する。関数共有は境界の再利用を好んでおり、体系的な一般化と矛盾する新しい出力の部品が少ない。このような現象は,完全連結,畳み込み,残差ネットワーク,LSTM,(視覚)トランスフォーマなど,標準的なディープラーニングモデルに現れる。この研究が系統的一般化への新しい洞察を提供し、新しい研究の方向性の基盤となることを願っている。

関連論文リスト

Generalization Through the Lens of Learning Dynamics [11.009483845261958]
機械学習(ML)システムは、デプロイ時に正確な予測を得るために、新しい状況に一般化することを学ぶ必要がある。ディープニューラルネットワークの印象的な一般化性能は、理論家たちに悪影響を与えている。この論文は、教師付き学習タスクと強化学習タスクの両方において、ディープニューラルネットワークの学習ダイナミクスを研究する。
論文参考訳（メタデータ） (2022-12-11T00:07:24Z)
On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文参考訳（メタデータ） (2022-06-09T16:24:01Z)
Learning Dynamics and Structure of Complex Systems Using Graph Neural Networks [13.509027957413409]
我々は、非線形力学系の例から時系列に適合するようにグラフニューラルネットワークを訓練した。学習した表現とモデルコンポーネントの簡単な解釈を見出した。我々は,信念伝達における統計的相互作用と,それに対応する学習ネットワークのパラメータ間のグラフトランスレータの同定に成功した。
論文参考訳（メタデータ） (2022-02-22T15:58:16Z)
Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文参考訳（メタデータ） (2021-10-12T23:22:45Z)
Distinguishing rule- and exemplar-based generalization in learning systems [10.396761067379195]
特徴レベルバイアスと例え-vs-ルールバイアスの2つの異なる帰納バイアスについて検討した。ほとんどの標準ニューラルネットワークモデルは、模範に基づく外挿に対する正当性を持っている。データ拡張、公平性、体系的一般化に関する研究において、これらの発見がもたらす意味について論じる。
論文参考訳（メタデータ） (2021-10-08T18:37:59Z)
On the Generalization of Models Trained with SGD: Information-Theoretic Bounds and Implications [13.823089111538128]
本稿では,SGDで学習したニューラルネットワークなどの機械学習モデルの一般化誤差に対して,より厳密な情報理論上界を提案する。これらの境界に基づく実験的研究は、ニューラルネットワークのSGDトレーニングに関する洞察を与える。
論文参考訳（メタデータ） (2021-10-07T00:53:33Z)
f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
論文参考訳（メタデータ） (2021-06-21T18:21:09Z)
Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文参考訳（メタデータ） (2020-12-05T22:58:37Z)
Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-08-01T00:58:54Z)
Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文参考訳（メタデータ） (2020-07-07T08:34:48Z)
Unsupervised Domain Adaptation in Semantic Segmentation: a Review [22.366638308792734]
本研究の目的は, セマンティックセグメンテーションのための深層ネットワークのUnsupervised Domain Adaptation (UDA) の最近の進歩について概説することである。
論文参考訳（メタデータ） (2020-05-21T20:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。