論文の概要: On the Role of Noise in Factorizers for Disentangling Distributed Representations

• arxiv url: http://arxiv.org/abs/2412.00354v1
• Date: Sat, 30 Nov 2024 04:25:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:49:32.012527
• Title: On the Role of Noise in Factorizers for Disentangling Distributed Representations
• Title（参考訳）: 分散表現の分散化のための因子分解器におけるノイズの役割について
• Authors: Geethan Karunaratne, Michael Hersche, Abu Sebastian, Abbas Rahimi,
• Abstract要約: インメモリファクターは制限サイクルの現象に悩まされる。 繰り返しデコーディング中にノイズを適用することは、この問題に対処するメカニズムのひとつです。 本稿では,騒音条件を緩和する方法について検討する。
• 参考スコア（独自算出の注目度）: 3.905926785009084
• License:
• Abstract: To efficiently factorize high-dimensional distributed representations to the constituent atomic vectors, one can exploit the compute-in-superposition capabilities of vector-symbolic architectures (VSA). Such factorizers however suffer from the phenomenon of limit cycles. Applying noise during the iterative decoding is one mechanism to address this issue. In this paper, we explore ways to further relax the noise requirement by applying noise only at the time of VSA's reconstruction codebook initialization. While the need for noise during iterations proves analog in-memory computing systems to be a natural choice as an implementation media, the adequacy of initialization noise allows digital hardware to remain equally indispensable. This broadens the implementation possibilities of factorizers. Our study finds that while the best performance shifts from initialization noise to iterative noise as the number of factors increases from 2 to 4, both extend the operational capacity by at least 50 times compared to the baseline factorizer resonator networks. Our code is available at: https://github.com/IBM/in-memory-factorizer
• Abstract（参考訳）: 構成原子ベクトルに高次元分布表現を効率よく分解するために、ベクトル記号アーキテクチャ(VSA)の計算代入能力を利用することができる。 しかし、そのような因子は極限サイクルの現象に悩まされる。 繰り返しデコーディング中にノイズを適用することは、この問題に対処するメカニズムのひとつです。 本稿では,VSAの再構成コードブック初期化時にのみノイズを印加することで,ノイズを緩和する方法について検討する。 イテレーション中のノイズの必要性は、アナログインメモリコンピューティングシステムが実装メディアとして自然な選択であることが証明されているが、初期化ノイズの妥当性により、デジタルハードウェアは等しく必要不可欠である。 これは因子化器の実装可能性を広げる。 本研究は, 初期化雑音から繰り返し雑音へ最高の性能がシフトするのに対して, 2 から 4 への因子数の増加は, ベースラインファクター共振器ネットワークと比較して少なくとも50倍の演算容量を拡大することを示した。 私たちのコードは、https://github.com/IBM/in-Memory-factorizer.comで利用可能です。

関連論文リスト

• Evolutionary Algorithms Are Significantly More Robust to Noise When They Ignore It [10.165640083594573]
  再評価の必要性は過大評価される可能性があり、実際は有害である。 この進化的アルゴリズムの最初の分析は、再評価なしに単一目的雑音の問題を解くことで、そのようなアルゴリズムが以前考えられていたよりもずっと良いノイズに対処できることを示している。
  論文  参考訳（メタデータ） (2024-08-31T00:10:10Z)
• Resilience-Runtime Tradeoff Relations for Quantum Algorithms [0.7371081631199642]
  アルゴリズム設計における主要なアプローチは、アルゴリズムのコンパイルにおける操作数を最小化することである。 摂動雑音に対するアルゴリズムのレジリエンスを特徴付ける枠組みを開発する。 我々は、このフレームワークがどのようにして特定のノイズに耐えられるアルゴリズムのコンパイルを識別できるかを示す。
  論文  参考訳（メタデータ） (2024-08-05T18:31:14Z)
• Bring the Noise: Introducing Noise Robustness to Pretrained Automatic Speech Recognition [13.53738829631595]
  本稿では,任意のエンコーダ・デコーダアーキテクチャに適用可能なデノナイズ機能を抽出する新しい手法を提案する。 我々はノイズ音声データベース(NSD)で事前プロセッサを訓練し、ノイズ入力から雑音化されたスペクトルを再構成する。 クリーンコーダは音声からノイズをフィルタリングすることができ、雑音条件下で下流モデルのワード誤り率(WER)を改善できることを示す。
  論文  参考訳（メタデータ） (2023-09-05T11:34:21Z)
• INR-Arch: A Dataflow Architecture and Compiler for Arbitrary-Order Gradient Computations in Implicit Neural Representation Processing [66.00729477511219]
  計算グラフとして表される関数を考えると、従来のアーキテクチャはn階勾配を効率的に計算する上で困難に直面している。 InR-Archは,n階勾配の計算グラフをハードウェア最適化データフローアーキテクチャに変換するフレームワークである。 1.8-4.8x と 1.5-3.6x の高速化を CPU と GPU のベースラインと比較した結果を示す。
  論文  参考訳（メタデータ） (2023-08-11T04:24:39Z)
• Variational quantum algorithms on cat qubits [0.0]
  現在のハードウェアは、制御不能なノイズに悩まされ、1つの計算の期待結果を変更できる。 我々は、本質的にビットフリップに耐性を持つ技術である猫クビットについて検討する。 VQAで定式化できる2種類の問題をシミュレーションする。
  論文  参考訳（メタデータ） (2023-05-23T15:09:00Z)
• Factorizers for Distributed Sparse Block Codes [45.29870215671697]
  分散ブロック符号(SBC)を高速かつ高精度に分解する手法を提案する。 我々の反復分解器は、しきい値に基づく非線形活性化、条件付きランダムサンプリング、および $ell_infty$-based similarity metricを導入している。 CIFAR-100, ImageNet-1K, RAVENデータセット上での4つの深層CNNアーキテクチャの実現可能性を示す。
  論文  参考訳（メタデータ） (2023-03-24T12:31:48Z)
• Multiple Kernel Clustering with Dual Noise Minimization [56.009011016367744]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルから補完的な情報を統合することでデータをグループ化する。 本稿では,双対雑音を厳密に定義し,パラメータフリーなMKCアルゴリズムを提案する。 二重ノイズはブロック対角構造を汚染し,クラスタリング性能の劣化を招き,CノイズはNノイズよりも強い破壊を示す。
  論文  参考訳（メタデータ） (2022-07-13T08:37:42Z)
• Robust Semantic Communications with Masked VQ-VAE Enabled Codebook [56.63571713657059]
  本稿では,ロバストなエンドツーエンドのセマンティック通信システムにおいて,セマンティックノイズに対処するためのフレームワークを提案する。 セマンティックノイズに対処するため、重み付き対向トレーニングを開発し、トレーニングデータセットにセマンティックノイズを組み込む。 ノイズやタスク非関連の特徴を抑える機能重要モジュール (FIM) を開発した。
  論文  参考訳（メタデータ） (2022-06-08T16:58:47Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Learning based signal detection for MIMO systems with unknown noise statistics [84.02122699723536]
  本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。 実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。 我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
  論文  参考訳（メタデータ） (2021-01-21T04:48:15Z)
• A deep learning model for noise prediction on near-term quantum devices [137.6408511310322]
  我々は、量子デバイスからの実験データに基づいて畳み込みニューラルネットワークをトレーニングし、ハードウェア固有のノイズモデルを学ぶ。 コンパイラはトレーニングされたネットワークをノイズ予測器として使用し、期待されるノイズを最小限に抑えるために回路にゲートのシーケンスを挿入する。
  論文  参考訳（メタデータ） (2020-05-21T17:47:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。