論文の概要: A Quantitative Approach to Predicting Representational Learning and
Performance in Neural Networks
- arxiv url: http://arxiv.org/abs/2307.07575v1
- Date: Fri, 14 Jul 2023 18:39:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 19:05:46.007197
- Title: A Quantitative Approach to Predicting Representational Learning and
Performance in Neural Networks
- Title（参考訳）: ニューラルネットワークにおける表現学習と性能予測のための定量的アプローチ
- Authors: Ryan Pyle, Sebastian Musslick, Jonathan D. Cohen, and Ankit B. Patel
- Abstract要約: ニューラルネットワークの主な特性は、タスクを解決するために入力情報の表現と操作を学ぶ方法である。
本稿では,学習した表現を分析し,予測するための擬似カーネルツールを提案する。
- 参考スコア（独自算出の注目度）: 5.544128024203989
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A key property of neural networks (both biological and artificial) is how
they learn to represent and manipulate input information in order to solve a
task. Different types of representations may be suited to different types of
tasks, making identifying and understanding learned representations a critical
part of understanding and designing useful networks. In this paper, we
introduce a new pseudo-kernel based tool for analyzing and predicting learned
representations, based only on the initial conditions of the network and the
training curriculum. We validate the method on a simple test case, before
demonstrating its use on a question about the effects of representational
learning on sequential single versus concurrent multitask performance. We show
that our method can be used to predict the effects of the scale of weight
initialization and training curriculum on representational learning and
downstream concurrent multitasking performance.
- Abstract（参考訳）: ニューラルネットワーク(生体と人工の両方)の重要な特性は、タスクを解決するために入力情報の表現と操作を学ぶ方法である。
異なるタイプの表現は、異なるタイプのタスクに適しており、学習された表現の識別と理解が有用なネットワークの理解と設計の重要な部分となる。
本稿では,ネットワークの初期条件と学習カリキュラムに基づいて,学習した表現を分析し,予測するための擬似カーネルツールを提案する。
本手法を簡単なテストケースで検証し, 逐次シングルタスクと同時マルチタスクのパフォーマンスに対する表現学習の効果に関する質問に対して, その使用法を実証する。
提案手法は,重み付け初期化と訓練カリキュラムのスケールが表現学習および下流同時マルチタスク性能に与える影響を予測するのに有効であることを示す。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Proto-Value Networks: Scaling Representation Learning with Auxiliary
Tasks [33.98624423578388]
補助的なタスクは、深層強化学習エージェントによって学習された表現を改善する。
我々は、後継措置に基づく新しい補助業務のファミリーを導出する。
プロト値ネットワークは、確立されたアルゴリズムに匹敵する性能を得るために、リッチな特徴を生み出すことを示す。
論文 参考訳（メタデータ） (2023-04-25T04:25:08Z) - Complexity of Representations in Deep Learning [2.0219767626075438]
データ複雑性の観点からクラスを分離する際の学習表現の有効性を分析する。
データ複雑性がネットワークを通じてどのように進化するか、トレーニング中にどのように変化するのか、そして、ネットワーク設計とトレーニングサンプルの可用性によってどのように影響を受けるのかを示す。
論文 参考訳（メタデータ） (2022-09-01T15:20:21Z) - Active Multi-Task Representation Learning [50.13453053304159]
本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。
提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
論文 参考訳（メタデータ） (2022-02-02T08:23:24Z) - On the relationship between disentanglement and multi-task learning [62.997667081978825]
ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。
マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
論文 参考訳（メタデータ） (2021-10-07T14:35:34Z) - Explaining Deep Learning Representations by Tracing the Training Process [10.774699463547439]
本稿では,ディープニューラルネットワークの決定を記述した新しい説明法を提案する。
本研究では,深層ネットワークの各層における中間表現がどのように洗練されているかを検討した。
提案手法は,説明として使用可能な,高度に代表的なトレーニングインスタンスを同定する。
論文 参考訳（メタデータ） (2021-09-13T11:29:04Z) - Multivariate Business Process Representation Learning utilizing Gramian
Angular Fields and Convolutional Neural Networks [0.0]
データの意味のある表現を学習することは、機械学習の重要な側面である。
予測的プロセス分析では、プロセスインスタンスのすべての説明的特性を利用できるようにすることが不可欠である。
本稿では,ビジネスプロセスインスタンスの表現学習のための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-15T10:21:14Z) - Explainability-aided Domain Generalization for Image Classification [0.0]
説明可能性文献から手法やアーキテクチャを適用することで、ドメインの一般化という困難な課題に対して最先端のパフォーマンスを達成できることを示す。
そこで我々は,勾配に基づくクラスアクティベーションマップを用いて学習中にネットワークが指導を受ける手法であるDivCAMを含む新しいアルゴリズムを開発し,多様な識別機能に焦点をあてる。
これらの手法は、説明可能性に加えて競合性能を提供するため、深層ニューラルネットワークアーキテクチャのロバスト性を改善するツールとして使用できると論じる。
論文 参考訳（メタデータ） (2021-04-05T02:27:01Z) - Usable Information and Evolution of Optimal Representations During
Training [79.38872675793813]
特に、意味的に意味があるが究極的には無関係な情報は、訓練の初期の過渡的ダイナミクスに符号化されている。
文献に触発された知覚的意思決定タスクと標準画像分類タスクの両方にこれらの効果を示す。
論文 参考訳（メタデータ） (2020-10-06T03:50:19Z) - Region Comparison Network for Interpretable Few-shot Image
Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。
本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。
また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文 参考訳（メタデータ） (2020-09-08T07:29:05Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳（メタデータ） (2020-04-12T09:05:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。