論文の概要: Weight Priors for Learning Identity Relations

• arxiv url: http://arxiv.org/abs/2003.03125v2
• Date: Tue, 19 May 2020 20:13:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 00:45:09.318308
• Title: Weight Priors for Learning Identity Relations
• Title（参考訳）: 身元関係学習のための重み付け
• Authors: Radha Kopparti, Tillman Weyde
• Abstract要約: この問題に対する解決策としてリレーショナル・ベース・パターン(RBP)アプローチが提案されている。 本研究では、同一性関係をモデル化するために、ネットワーク重みに先立ってベイジアンとして認識することでRBPを拡張した。 ベイズ重みは、アイデンティティに基づく関係を学習する際に完全に一般化し、一般的なニューラルネットワーク学習を阻害しないことを示す。
• 参考スコア（独自算出の注目度）: 5.279475826661643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning abstract and systematic relations has been an open issue in neural network learning for over 30 years. It has been shown recently that neural networks do not learn relations based on identity and are unable to generalize well to unseen data. The Relation Based Pattern (RBP) approach has been proposed as a solution for this problem. In this work, we extend RBP by realizing it as a Bayesian prior on network weights to model the identity relations. This weight prior leads to a modified regularization term in otherwise standard network learning. In our experiments, we show that the Bayesian weight priors lead to perfect generalization when learning identity based relations and do not impede general neural network learning. We believe that the approach of creating an inductive bias with weight priors can be extended easily to other forms of relations and will be beneficial for many other learning tasks.
• Abstract（参考訳）: 抽象的および体系的な関係の学習は、30年以上にわたってニューラルネットワーク学習においてオープンな問題となっている。 近年、ニューラルネットワークはアイデンティティに基づいて関係を学習せず、見当たらないデータにうまく一般化できないことが示されている。 この問題の解としてrbp(relational based pattern)アプローチが提案されている。 本研究では,ネットワークの重み付けに先立ってベイジアンとして認識し,同一性関係をモデル化することでrppを拡張する。 この重みは前もって標準ネットワーク学習における修正正規化項に繋がる。 実験では、ベイズ重みがアイデンティティに基づく関係を学習する際に完全に一般化し、一般のニューラルネットワーク学習に支障を来さないことを示す。 重み付き帰納バイアスを生み出すアプローチは、他の種類の関係に容易に拡張することができ、他の多くの学習タスクに有用であると考えています。

関連論文リスト

• Early learning of the optimal constant solution in neural networks and humans [4.016584525313835]
  対象関数の学習は、ネットワークが最適定数解(OCS)を学習する初期段階に先立って行われることを示す。 我々は、バイアス項がなくてもOCSの学習が出現し、入力データの一般的な相関によって等価に駆動されることを示す。 我々の研究は、OCSを教師付き誤り訂正学習における普遍的な学習原則として示唆している。
  論文  参考訳（メタデータ） (2024-06-25T11:12:52Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling [6.980076213134383]
  抽象パターンは、見えないデータに対する一般化の観点から、ニューラルネットワークにとって難しい問題の最もよく知られた例である。 これらの低レベル問題は、ニューラルネットワークが体系的に学習できないことを示しています。 抽象パターンの等価性と距離関係の学習を促進するリレーショナルインダクティブバイアスを作成するための新しい方法として、組み込みリレーショナルベースパターン(ERBP)を提案する。
  論文  参考訳（メタデータ） (2021-03-10T17:21:16Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Learning the Travelling Salesperson Problem Requires Rethinking Generalization [9.176056742068813]
  トラベリングセールスパーソン問題(TSP)のようなグラフ最適化問題に対するニューラルネットワークソルバのエンドツーエンドトレーニングは近年,関心が高まっている。 最先端の学習駆動アプローチは、自明に小さなサイズで訓練された場合、古典的な解法と密接に関係するが、実践的な規模で学習ポリシーを大規模に一般化することはできない。 この研究は、トレーニングで見られるものよりも大きいインスタンスへの一般化を促進する、原則化されたバイアス、モデルアーキテクチャ、学習アルゴリズムを特定するために、最近の論文を統一するエンドツーエンドのニューラルネットワークパイプラインを提示している。
  論文  参考訳（メタデータ） (2020-06-12T10:14:15Z)
• Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors [75.58555462743585]
  訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。 Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。 連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
  論文  参考訳（メタデータ） (2020-04-21T15:20:19Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。