論文の概要: Eigenvector Dreaming
- arxiv url: http://arxiv.org/abs/2308.13445v1
- Date: Wed, 9 Aug 2023 16:18:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-03 21:42:00.010841
- Title: Eigenvector Dreaming
- Title(参考訳): 固有ベクトルドリーム
- Authors: Marco Benedetti and Louis Carillo and Enzo Marinari and Marc M\`ezard
- Abstract要約: 本稿では,ヘビアン・アンラーニングをスペクトルの単純な進化の観点から効果的に記述する方法を示す。
我々はこれらのアイデアを用いて、計算的な観点から有効な新しいドリームアルゴリズムを設計する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Among the performance-enhancing procedures for Hopfield-type networks that
implement associative memory, Hebbian Unlearning (or dreaming) strikes for its
simplicity and its clear biological interpretation. Yet, it does not easily
lend itself to a clear analytical understanding. Here we show how Hebbian
Unlearning can be effectively described in terms of a simple evolution of the
spectrum and the eigenvectors of the coupling matrix. We use these ideas to
design new dreaming algorithms that are effective from a computational point of
view, and are analytically far more transparent than the original scheme.
- Abstract(参考訳): 連想記憶を実装するホップフィールド型ネットワークのパフォーマンス向上手順の中で、ヘビーアンアンラーニング(またはドリームニング)は、その単純さと明確な生物学的解釈を追求している。
しかし、それは明らかに分析的な理解に役立てるものではない。
ここでは、結合行列のスペクトルと固有ベクトルの単純な進化の観点から、Hebbian Unlearningを効果的に記述する方法を示す。
これらのアイデアを,計算的な観点から有効で,解析的にも元のスキームよりもはるかに透過的な新たなドリームアルゴリズムの設計に活用する。
関連論文リスト
- Self-Attention Based Semantic Decomposition in Vector Symbolic Architectures [6.473177443214531]
本稿では,反復探索問題における自己アテンションに基づく更新規則に基づく共振器ネットワークの新たな変種を提案する。
認識に基づくパターン認識,シーン分解,オブジェクト推論など,多くのタスクに応用できる。
論文 参考訳(メタデータ) (2024-03-20T00:37:19Z) - Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-06T20:43:37Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳(メタデータ) (2022-07-02T10:00:35Z) - Fortuitous Forgetting in Connectionist Networks [20.206607130719696]
我々は,ニューラルネットワークの学習軌跡を形成するための強力なパラダイムとして,"forget-and-relearn"を紹介した。
forget-and-relearnフレームワークは、画像分類と言語出現文学において、多くの既存の反復的トレーニングアルゴリズムを統合する。
我々は、この理解を活用して、よりターゲットを絞った忘れ操作を設計することで、既存のアルゴリズムを改善する。
論文 参考訳(メタデータ) (2022-02-01T00:15:58Z) - Fair Interpretable Learning via Correction Vectors [68.29997072804537]
我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。
修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。
このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
論文 参考訳(メタデータ) (2022-01-17T10:59:33Z) - Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。
空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。
提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
論文 参考訳(メタデータ) (2020-11-06T12:17:01Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳(メタデータ) (2020-08-03T17:56:13Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z) - Learning Neural-Symbolic Descriptive Planning Models via Cube-Space
Priors: The Voyage Home (to STRIPS) [13.141761152863868]
我々のニューロシンボリックアーキテクチャは、画像のみから簡潔で効果的な離散状態遷移モデルを生成するために、エンドツーエンドで訓練されていることを示す。
私たちのターゲット表現は、既成の問題解決者が使いこなせる形で既に存在しており、現代の検索機能への扉を開いています。
論文 参考訳(メタデータ) (2020-04-27T15:01:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。