論文の概要: Robust Reasoning and Learning with Brain-Inspired Representations under Hardware-Induced Nonlinearities
- arxiv url: http://arxiv.org/abs/2604.12079v1
- Date: Mon, 13 Apr 2026 21:35:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.131199
- Title: Robust Reasoning and Learning with Brain-Inspired Representations under Hardware-Induced Nonlinearities
- Title(参考訳): ハードウェア誘起非線形性下における脳誘発表現によるロバスト推論と学習
- Authors: William Youngwoo Chung, Hamza Errahmouni Barkam, Tamoghno Das, Mohsen Imani,
- Abstract要約: 従来の機械学習は、高精度な算術とほぼ理想的ハードウェアの仮定に依存している。
超次元コンピューティング(HDC)に基づくハードウェア対応最適化フレームワークを提案する。
我々のソリューションは、新しいCIMハードウェアの分類と推論が可能なスケーラブルでエネルギー効率の良いインテリジェントシステムを実現する。
- 参考スコア(独自算出の注目度): 7.417780861658929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Traditional machine learning depends on high-precision arithmetic and near-ideal hardware assumptions, which is increasingly challenged by variability in aggressively scaled semiconductor devices. Compute-in-memory (CIM) architectures alleviate data-movement bottlenecks and improve energy efficiency yet introduce nonlinear distortions and reliability concerns. We address these issues with a hardware-aware optimization framework based on Hyperdimensional Computing (HDC), systematically compensating for non-ideal similarity computations in CIM. Our approach formulates encoding as an optimization problem, minimizing the Frobenius norm between an ideal kernel and its hardware-constrained counterpart, and employs a joint optimization strategy for end-to-end calibration of hypervector representations. Experimental results demonstrate that our method when applied to QuantHD achieves 84\% accuracy under severe hardware-induced perturbations, a 48\% increase over naive QuantHD under the same conditions. Additionally, our optimization is vital for graph-based HDC reliant on precise variable-binding for interpretable reasoning. Our framework preserves the accuracy of RelHD on the Cora dataset, achieving a 5.4$\times$ accuracy improvement over naive RelHD under nonlinear environments. By preserving HDC's robustness and symbolic properties, our solution enables scalable, energy-efficient intelligent systems capable of classification and reasoning on emerging CIM hardware.
- Abstract(参考訳): 従来の機械学習は、高速な演算とほぼ理想的ハードウェアの仮定に依存しており、攻撃的なスケールの半導体デバイスにおける可変性によってますます困難になっている。
コンピュート・イン・メモリ(CIM)アーキテクチャは、データ移動のボトルネックを緩和し、エネルギー効率を向上するが、非線形歪みと信頼性の懸念をもたらす。
我々は,CIMにおける非理想的類似性計算を体系的に補償する,超次元コンピューティング(HDC)に基づくハードウェア対応最適化フレームワークを用いて,これらの問題に対処する。
提案手法は最適化問題として符号化を定式化し, 理想カーネルとハードウェア制約付きカーネル間のフロベニウスノルムを最小化し, ハイパーベクトル表現のエンドツーエンドキャリブレーションに共同最適化戦略を用いる。
また,本手法をQuantHDに適用した場合, ハードウエアの強い摂動条件下では84 %, 同じ条件下では48 %の精度が得られた。
さらに、グラフベースのHDCでは、解釈可能な推論のために正確な変数結合に依存するため、最適化が不可欠である。
このフレームワークはCoraデータセット上でのRelHDの精度を保ち、非線形環境下での単純なRelHDよりも5.4$\times$精度の向上を実現している。
当社のソリューションはHDCのロバスト性とシンボル特性を保存することにより,新たなCIMハードウェアの分類と推論が可能なスケーラブルで省エネなインテリジェントシステムを実現する。
関連論文リスト
- Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。
FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。
我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
論文 参考訳(メタデータ) (2026-03-30T11:37:46Z) - ROOT: Robust Orthogonalized Optimizer for Neural Network Training [47.05662448082334]
大規模言語モデル(LLM)は、特にモデルのスケーリングがインプレクションやトレーニングの不安定性に対する感受性を悪化させるため、依然として重要な課題である。
我々は,特定の行列サイズに合わせた反復によるロバスト性を高める次元ロバスト化手法を開発した。
第2に,有意な方向を保ちながら外周雑音を抑制する最適化ロバスト化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-25T18:48:05Z) - Domain-Aware Hyperdimensional Computing for Edge Smart Manufacturing [1.3048920509133808]
スマートマニュファクチャリングには、厳格なレイテンシとエネルギー予算を満たすデバイス上のインテリジェンスが必要です。
Hyperdimensional Computing (HDC)は、高次元のハイパーベクターとしてデータをエンコードし、単純な操作で計算する軽量な代替手段を提供する。
エンコーダのタイプ,投影分散,超ベクトル次元,データ構造が精度,推論レイテンシ,トレーニング時間,トレーニングエネルギーをどう形成するかをマップする。
最先端のディープラーニングモデルとトランスフォーマーモデルの精度を一致または超過し、少なくとも6倍高速な推論と40倍以上のトレーニングエネルギーを提供するモデルを得る。
論文 参考訳(メタデータ) (2025-09-30T11:52:14Z) - Improved Data Encoding for Emerging Computing Paradigms: From Stochastic to Hyperdimensional Computing [1.523100574874007]
本研究は、ハードウェアフレンドリーな低分散性(LD)シークエンスを利用する高度な符号化戦略を提案する。
提案手法は,ランダム性に関わる課題に対処することにより,SCとHDCシステムの精度と効率を大幅に向上させる。
我々のソリューションは、リソース制約のある環境でSCとHDCを統合するための堅牢なフレームワークを提供し、効率的でスケーラブルなAI実装の道を開いた。
論文 参考訳(メタデータ) (2025-01-06T02:07:49Z) - Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。
BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。
我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
論文 参考訳(メタデータ) (2024-12-03T19:20:08Z) - Scaling physics-informed hard constraints with mixture-of-experts [0.0]
我々は、Mixture-of-Experts (MoE) を用いて、ハード物理制約を強制するためのスケーラブルなアプローチを開発する。
MoEは小さなドメインに対する制約を課し、それぞれが微分可能な最適化によって"専門家"によって解決される。
標準的な微分可能最適化と比較して、我々のスケーラブルなアプローチは、ニューラルPDEソルバ設定においてより精度が高い。
論文 参考訳(メタデータ) (2024-02-20T22:45:00Z) - Enhancing Reliability of Neural Networks at the Edge: Inverted
Normalization with Stochastic Affine Transformations [0.22499166814992438]
インメモリコンピューティングアーキテクチャに実装されたBayNNのロバスト性と推論精度を本質的に向上する手法を提案する。
実証的な結果は推論精度の優雅な低下を示し、最大で58.11%の値で改善された。
論文 参考訳(メタデータ) (2024-01-23T00:27:31Z) - Constrained Optimization via Exact Augmented Lagrangian and Randomized
Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。
ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-05-28T06:33:37Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。