論文の概要: HD-CB: The First Exploration of Hyperdimensional Computing for Contextual Bandits Problems

• arxiv url: http://arxiv.org/abs/2501.16863v1
• Date: Tue, 28 Jan 2025 11:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:40:59.333462
• Title: HD-CB: The First Exploration of Hyperdimensional Computing for Contextual Bandits Problems
• Title（参考訳）: HD-CB: 文脈帯域問題のための超次元計算の最初の探索
• Authors: Marco Angioli, Antonello Rosato, Marcello Barbirotta, Rocco Martino, Francesco Menichelli, Mauro Olivieri,
• Abstract要約: この研究は超次元文脈帯域(HD-CB)を導入している。 HD-CBは、シーケンシャルな意思決定問題をモデル化し、自動化するためのHDCの最初の探索である。 従来の線形CBアルゴリズムと比較して、競争力や優れた性能を実現している。
• 参考スコア（独自算出の注目度）: 0.6377289349842638
• License:
• Abstract: Hyperdimensional Computing (HDC), also known as Vector Symbolic Architectures, is a computing paradigm that combines the strengths of symbolic reasoning with the efficiency and scalability of distributed connectionist models in artificial intelligence. HDC has recently emerged as a promising alternative for performing learning tasks in resource-constrained environments thanks to its energy and computational efficiency, inherent parallelism, and resilience to noise and hardware faults. This work introduces the Hyperdimensional Contextual Bandits (HD-CB): the first exploration of HDC to model and automate sequential decision-making Contextual Bandits (CB) problems. The proposed approach maps environmental states in a high-dimensional space and represents each action with dedicated hypervectors (HVs). At each iteration, these HVs are used to select the optimal action for the given context and are updated based on the received reward, replacing computationally expensive ridge regression procedures required by traditional linear CB algorithms with simple, highly parallel vector operations. We propose four HD-CB variants, demonstrating their flexibility in implementing different exploration strategies, as well as techniques to reduce memory overhead and the number of hyperparameters. Extensive simulations on synthetic datasets and a real-world benchmark reveal that HD-CB consistently achieves competitive or superior performance compared to traditional linear CB algorithms, while offering faster convergence time, lower computational complexity, improved scalability, and high parallelism.
• Abstract（参考訳）: 超次元コンピューティング(英: Hyperdimensional Computing、HDC)は、人工知能における分散接続モデルの効率性とスケーラビリティとシンボリック推論の強みを組み合わせたコンピューティングパラダイムである。 HDCは、そのエネルギーと計算効率、固有の並列性、ノイズやハードウェア障害に対するレジリエンスのおかげで、リソース制約のある環境で学習タスクを実行するための有望な代替手段として最近登場した。 この研究は超次元コンテキスト帯域 (Hyperdimensional Contextual Bandits, HD-CB) を導入し、HDCによる連続的な意思決定コンテキスト帯域 (CB) 問題のモデル化と自動化を初めて行った。 提案手法は、高次元空間における環境状態をマッピングし、専用のハイパーベクター(HV)を用いて各行動を表現する。 各繰り返しにおいて、これらのHVは与えられた状況に対して最適な動作を選択し、受信した報酬に基づいて更新され、従来の線形CBアルゴリズムで要求される計算コストの高いリッジ回帰手順を、単純で高並列なベクトル演算に置き換える。 提案する4つのHD-CB変種は,異なる探索手法の実装における柔軟性を示すとともに,メモリオーバーヘッドとハイパーパラメータ数を削減する手法も提案する。 合成データセットの大規模なシミュレーションと実世界のベンチマークにより、HD-CBは従来の線形CBアルゴリズムと比較して、競争力や優れた性能を一貫して達成し、より高速な収束時間、計算複雑性の低減、スケーラビリティの向上、高並列性を実現している。

関連論文リスト

• Hybrid Dynamic Pruning: A Pathway to Efficient Transformer Inference [1.0919012968294923]
  本稿では,頭部の疎度を用いてトランスフォーマーを高速化し,疎度をブロックし,注意の計算を減らし,メモリアクセスを減らし,新しいアルゴリズムアーキテクチャの共設計手法を提案する。 注目スコアと注目ヘッドの巨大な冗長性を観測し、実行時に注目行列内の重要でないブロックをプルーする整数ベースの行平衡ブロックプルーニングを提案する。 また、実行時に重要でないヘッドを検出およびプルーする整数ベースのヘッドプルーニングを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:15:16Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• High-Performance Hybrid Algorithm for Minimum Sum-of-Squares Clustering of Infinitely Tall Data [0.3069335774032178]
  本稿では,Infinitely Tall Data (MSSC-ITD) の最小二乗クラスタリングという,クラスタリング問題の新しい定式化を提案する。 現代の高性能コンピューティング技術を利用することで、HPClustは、有効性、計算効率、拡張性といった主要なクラスタリング指標を強化する。
  論文  参考訳（メタデータ） (2023-11-08T08:02:52Z)
• Fast hyperboloid decision tree algorithms [0.6656737591902598]
  我々は、決定木アルゴリズムの新たな拡張であるHyperDTを双曲空間に提示する。 私たちのアプローチは概念的には単純で、一定時間の意思決定の複雑さを維持します。 HyperDTの上に構築されたハイパーRFは、双曲的ランダムフォレストモデルである。
  論文  参考訳（メタデータ） (2023-10-20T22:31:10Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Resource-Efficient Federated Hyperdimensional Computing [6.778675369739912]
  従来の超次元計算(HDC)では、より大きなモデルを訓練すると予測性能が向上するが、計算量、通信量、エネルギー資源も増大する。 提案したリソース効率のフレームワークは、複数の独立したHDCサブモデルをトレーニングすることで、そのような制約を緩和する。 提案手法は,計算資源や無線資源の消費を減らしながら,同等あるいは高い予測性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-02T08:07:14Z)
• Q-SHED: Distributed Optimization at the Edge via Hessian Eigenvectors Quantization [5.404315085380945]
  ニュートン型(NT)法は、DO問題における堅牢な収束率の実現要因として提唱されている。 インクリメンタルなヘッセン固有ベクトル量子化に基づく新しいビット割り当て方式を特徴とする、DOのための元のNTアルゴリズムであるQ-SHEDを提案する。 Q-SHEDはコンバージェンスに必要な通信ラウンド数を最大60%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:15:03Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• ES-Based Jacobian Enables Faster Bilevel Optimization [53.675623215542515]
  バイレベル最適化(BO)は多くの現代の機械学習問題を解決する強力なツールとして生まれてきた。 既存の勾配法では、ヤコビアンあるいはヘッセンベクトル計算による二階微分近似が必要となる。 本稿では,進化戦略(ES)に基づく新しいBOアルゴリズムを提案し,BOの過勾配における応答ヤコビ行列を近似する。
  論文  参考訳（メタデータ） (2021-10-13T19:36:50Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。