論文の概要: Attractor FCM
- arxiv url: http://arxiv.org/abs/2604.27947v2
- Date: Sat, 02 May 2026 07:45:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 14:09:07.085486
- Title: Attractor FCM
- Title(参考訳): トラクターFCM
- Authors: Alexis Kafantaris,
- Abstract要約: 本稿では、アトラクタFCMを作成し、テストし、分析する。
これは勾配降下に基づく、物理学に制約のある、FCMのヤコビアン版である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper an attractor FCM is created, tested, and analyzed. This FCM is neither a hebbian based nor agentic, nor a hybrid; it rather is a gradient descent based, physics constrained, Jacobian version of an FCM. Moreover, this model has several quirks; it uses residual memory, back propagation through time, and a fixed point anchor that is recursively implemented to update its weights. The residuals update the recursive part without losing the system memory. The model's anchor enables it to converge in a fixed point for which back propagation through time unrolls it and ensures that the error minimization is for an accurate gradient. Furthermore, a new learning algorithm is utilized. The Newton's method finds the system's fixed point attractor and then gradient descend is adaptively changing the landscape; an adaptive term is used to directly manipulate the weights through the attractor dynamics. As the adaptive term changes, the descent through the landscape is constantly adjusting according to sigmoid saturation, and that prevents premature convergence to a local minimum. Lastly, the updates are filtered by causal mask that informs the network about the physics, respecting the initial expert based opinions, for which model reduces the error to the target in an efficient way.
- Abstract(参考訳): 本稿では、アトラクタFCMを作成し、テストし、分析する。
この FCM はヘビアンベースでもエージェントベースでもハイブリッドでもないが、むしろ勾配降下に基づく、物理学に制約された FCM のヤコビアン版である。
さらに、このモデルには、残メモリ、時間によるバック伝搬、重みを更新するために再帰的に実装される固定点アンカーなど、いくつかのクイックがある。
残余はシステムメモリを失うことなく再帰部分を更新する。
モデルのアンカーは、時間を通してバック伝搬がアンロールされる固定された点に収束し、エラーの最小化が正確な勾配のためであることを保証します。
さらに、新しい学習アルゴリズムを利用する。
ニュートンの手法はシステムの固定点引力を見つけ、勾配降下はランドスケープを適応的に変化させ、アダプティブ項は引力ダイナミクスを通して重みを直接操作するために用いられる。
適応項が変化するにつれて、ランドスケープの降下はシグモイド飽和度に応じて常に調整され、局所的な最小値への早めの収束を防ぐ。
最後に、更新はネットワークに物理を知らせる因果マスクによってフィルタリングされ、初期エキスパートベースの意見に敬意を表し、モデルがターゲットに対するエラーを効率的に削減する。
関連論文リスト
- Keep It CALM: Toward Calibration-Free Kilometer-Level SLAM with Visual Geometry Foundation Models via an Assistant Eye [34.902300948471314]
CAL2Mは任意のVGFMと互換性のあるプラグイン・アンド・プレイのフレームワークである。
一定の物理的間隔の先行を利用するためだけに「補助眼」を使用する。
不正確な内因論による回転と翻訳の誤りを効果的に正すことができる。
論文 参考訳(メタデータ) (2026-04-16T08:58:57Z) - Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。
近似MUは大規模モデルの実用的手法である。
本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
論文 参考訳(メタデータ) (2024-09-29T15:17:33Z) - SOFIM: Stochastic Optimization Using Regularized Fisher Information Matrix [10.532651329230497]
本稿では、正規化フィッシャー情報行列(FIM)に基づく新しい最適化手法を提案する。
大規模な機械学習モデルでニュートンの勾配更新を見つけるために、FIMを効率的に利用してヘッセン反転行列を近似することができる。
論文 参考訳(メタデータ) (2024-03-05T10:09:31Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。
自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。
元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
論文 参考訳(メタデータ) (2022-03-22T17:06:07Z) - DM-VIO: Delayed Marginalization Visual-Inertial Odometry [62.746533939737446]
本稿では,遅延残差化とポーズグラフバンドル調整に基づく視覚慣性システムDM-VIOを提案する。
我々は,EuRoC,TUM-VI,および4Seasonsデータセットを用いて,空飛ぶドローン,大規模ハンドヘルド,自動車シナリオからなるシステムの評価を行った。
論文 参考訳(メタデータ) (2022-01-11T18:30:37Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z) - Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial
Attacks [86.88061841975482]
我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。
我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。
提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
論文 参考訳(メタデータ) (2020-10-08T18:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。