論文の概要: Contextual Bandits for Resource-Constrained Devices using Probabilistic Learning
- arxiv url: http://arxiv.org/abs/2605.13346v1
- Date: Wed, 13 May 2026 11:04:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.999371
- Title: Contextual Bandits for Resource-Constrained Devices using Probabilistic Learning
- Title（参考訳）: 確率論的学習を用いた資源制約装置のコンテキスト帯域化
- Authors: Marco Angioli, Kevin Johansson, Antonello Rosato, Amy Loutfi, Denis Kleyko,
- Abstract要約: CB(Contextual bandits)は、部分的にフィードバックされたオンラインのシーケンシャルな意思決定問題である。
本稿では,決定論的累積を確率的更新規則に置き換えた低精度な変種を提案する。
- 参考スコア（独自算出の注目度）: 6.871338282259231
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contextual bandits (CB) are online sequential decision-making problems under partial feedback that underpin many adaptive services. There is a growing demand to deploy CB agents directly on-device, under strict constraints on memory, compute, and energy. However, standard linear CB algorithms are often impractical for resource-constrained devices with their unfavorable scaling in computational and memory costs. Recently, HD-CB, a CB approach based on hyperdimensional computing principles, has been proposed to model and solve CB problems by moving into high-dimensional spaces. HD-CB offers faster convergence, favorable scalability, and improves memory efficiency compared to linear CB algorithms. However, its learning rule is accumulation-based: the values of action vectors grow over time, requiring high precision. While periodic binarization can prevent overflow in low-precision components, it may discard important information about magnitudes and degrade decision quality. This paper introduces probabilistic HD-CB, a low-precision variant that replaces deterministic accumulation with a probabilistic update rule. At each step, only a random subset of vector components is updated, with a time-decaying update probability, and component values are constrained to a predefined range [-k,+k]. This approach enables low-precision components, prevents overflow without periodic binarization, and reduces the expected update cost in proportion to the fraction of updated components. Off-policy evaluation on standardized synthetic CB benchmarks using the Open Bandit Pipeline shows that probabilistic HD-CB consistently outperforms binarized HD-CB at equal precision, while approaching the performance of HD-CB with as few as 3 bits per component.
- Abstract（参考訳）: CB(Contextual bandits)は、多くの適応サービスを支える部分的なフィードバックの下で、オンラインのシーケンシャルな意思決定問題である。
CBエージェントをデバイス上で直接デプロイし、メモリ、計算、エネルギーに厳しい制約を課すことが要求されている。
しかし、標準的な線形CBアルゴリズムは、計算とメモリのコストにおいて好ましくないスケーリングを持つリソース制約のデバイスでは実用的ではないことが多い。
近年,高次元計算原理に基づくCB手法であるHD-CBが提案され,高次元空間への移動によるCB問題のモデル化と解法が提案されている。
HD-CBはより高速な収束とスケーラビリティを提供し、線形CBアルゴリズムと比較してメモリ効率を向上させる。
しかし、その学習規則は蓄積に基づくものであり、アクションベクトルの値は時間とともに増加し、高い精度を必要とする。
周期的ビナライゼーションは、低精度成分のオーバーフローを防ぐことができるが、マグニチュードに関する重要な情報を捨て、決定品質を劣化させる可能性がある。
本稿では,確率的更新規則で決定論的蓄積を置き換えた低精度なHD-CBを提案する。
各ステップにおいて、ベクトル成分のランダムなサブセットのみが更新され、時間遅延更新確率が設定され、コンポーネント値が予め定義された範囲 [-k,+k] に制約される。
このアプローチは、低精度のコンポーネントを可能にし、周期的な双対化なしにオーバーフローを防止し、更新されたコンポーネントの割合に比例して、期待される更新コストを削減する。
Open Bandit Pipeline を用いた標準化された CB ベンチマークのオフ政治評価では、確率的 HD-CB は、同じ精度で二項化 HD-CB を常に上回り、一方、HD-CB の性能は1コンポーネントあたり 3 ビットにも満たない。
関連論文リスト
- ScaleBITS: Scalable Bitwidth Search for Hardware-Aligned Mixed-Precision LLMs [14.073708409982705]
学習後重み量子化は,大規模言語モデル(LLM)のメモリと推論コストの低減に不可欠である
本研究では,メモリ予算下でのビット幅の自動割り当てを実現する混合精度量子化フレームワークであるScaleBITSを提案する。
実験により、ScaleBITSは均一精度の量子化(+36%)よりも大幅に改善し、超低ビット状態における最先端の感度認識ベースライン(+13%)よりも優れていた。
論文 参考訳（メタデータ） (2026-02-06T18:11:16Z) - On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization [27.237134457089194]
メモリ効率のゼロオーダー最適化(MeZO)はこのボトルネックを軽減する。
本稿ではまず,BPおよびMeZOトレーニングで適用可能な相対モデルサイズを理論的に推定する。
次に,メモリ上の制約下で,MeZOが精度上の優位性を示すことを示す。
論文 参考訳（メタデータ） (2025-11-14T14:46:29Z) - A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。
まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。
3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
論文 参考訳（メタデータ） (2025-02-21T10:12:34Z) - HD-CB: The First Exploration of Hyperdimensional Computing for Contextual Bandits Problems [0.6377289349842638]
この研究は超次元文脈帯域(HD-CB)を導入している。
HD-CBは、シーケンシャルな意思決定問題をモデル化し、自動化するためのHDCの最初の探索である。
従来の線形CBアルゴリズムと比較して、競争力や優れた性能を実現している。
論文 参考訳（メタデータ） (2025-01-28T11:28:09Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。
LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。
CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文 参考訳（メタデータ） (2023-12-13T07:56:27Z) - Practical Conformer: Optimizing size, speed and flops of Conformer for
on-Device and cloud ASR [67.63332492134332]
我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。
提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
論文 参考訳（メタデータ） (2023-03-31T23:30:48Z) - Bayes risk CTC: Controllable CTC alignment in Sequence-to-Sequence tasks [63.189632935619535]
予測アライメントの望ましい特性を強制するためにベイズリスクCTC(BRCTC)を提案する。
BRCTCを他の早期排出の選好と組み合わせることで、オンラインモデルの性能・遅延トレードオフが改善される。
論文 参考訳（メタデータ） (2022-10-14T03:55:36Z) - AMED: Automatic Mixed-Precision Quantization for Edge Devices [3.5223695602582614]
量子ニューラルネットワークは、レイテンシ、消費電力、モデルサイズをパフォーマンスに大きな影響を与えずに減少させることでよく知られている。
混合精度量子化は、異なるビット幅での算術演算をサポートするカスタマイズされたハードウェアのより良い利用を提供する。
論文 参考訳（メタデータ） (2022-05-30T21:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。