論文の概要: Reasoning-Modulated Representations

• arxiv url: http://arxiv.org/abs/2107.08881v1
• Date: Mon, 19 Jul 2021 13:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 15:21:13.130904
• Title: Reasoning-Modulated Representations
• Title（参考訳）: 推論変調表現
• Authors: Petar Veli\v{c}kovi\'c, Matko Bo\v{s}njak, Thomas Kipf, Alexander Lerchner, Raia Hadsell, Razvan Pascanu, Charles Blundell
• Abstract要約: タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
• 参考スコア（独自算出の注目度）: 85.08205744191078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks leverage robust internal representations in order to generalise. Learning them is difficult, and often requires a large training set that covers the data distribution densely. We study a common setting where our task is not purely opaque. Indeed, very often we may have access to information about the underlying system (e.g. that observations must obey certain laws of physics) that any "tabula rasa" neural network would need to re-learn from scratch, penalising data efficiency. We incorporate this information into a pre-trained reasoning module, and investigate its role in shaping the discovered representations in diverse self-supervised learning settings from pixels. Our approach paves the way for a new class of data-efficient representation learning.
• Abstract（参考訳）: ニューラルネットワークは、一般化するために堅牢な内部表現を利用する。 それらを学ぶことは難しく、データ分布を密にカバーする大きなトレーニングセットを必要とすることが多い。 我々は、タスクが純粋に不透明ではない共通の設定を研究します。 実際、基盤となるシステムに関する情報(例えば)にアクセスできることが多い。 観測は特定の物理法則に従う必要がある) あらゆる「タブララザ」ニューラルネットワークは、スクラッチから再学習し、データ効率を低下させる必要がある。 我々は,この情報を事前学習した推論モジュールに組み込んで,画素から多種多様な自己教師付き学習環境において,その表現を形作る役割について検討する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。

関連論文リスト

• A Spectral Condition for Feature Learning [20.440553685976194]
  主な課題は、ネットワークの内部表現があらゆる幅で非自明に進化するようにトレーニングをスケールすることである。 特徴学習は、重みのスペクトルノルムとそれらの更新をスケーリングすることで達成されることを示す。
  論文  参考訳（メタデータ） (2023-10-26T23:17:39Z)
• On information captured by neural networks: connections with memorization and generalization [4.082286997378594]
  トレーニング中にニューラルネットワークが取得した情報について検討する。 非空の一般化ギャップ境界を導出することで、例情報性と一般化を関連付ける。 全体として、我々の研究結果はニューラルネットワークの一般化のメカニズムのより深い理解に寄与している。
  論文  参考訳（メタデータ） (2023-06-28T04:46:59Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• Malicious Network Traffic Detection via Deep Learning: An Information Theoretic View [0.0]
  本研究では,ホメオモルフィズムがマルウェアのトラフィックデータセットの学習表現に与える影響について検討する。 この結果から,学習された表現の詳細と,すべてのパラメータの多様体上で定義された特定の座標系は,関数近似とは全く異なることが示唆された。
  論文  参考訳（メタデータ） (2020-09-16T15:37:44Z)
• Laplacian Denoising Autoencoder [114.21219514831343]
  本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。 勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。 いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
  論文  参考訳（メタデータ） (2020-03-30T16:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。