論文の概要: Towards Vector Optimization on Low-Dimensional Vector Symbolic Architecture

• arxiv url: http://arxiv.org/abs/2502.14075v1
• Date: Wed, 19 Feb 2025 20:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 22:18:11.403122
• Title: Towards Vector Optimization on Low-Dimensional Vector Symbolic Architecture
• Title（参考訳）: 低次元ベクトルシンボリックアーキテクチャのベクトル最適化に向けて
• Authors: Shijin Duan, Yejia Liu, Gaowen Liu, Ramana Rao Kompella, Shaolei Ren, Xiaolin Xu,
• Abstract要約: ベクトルアーキテクチャ(VSA)は、その効率性から機械学習に登場しているが、超次元性と精度の問題によって妨げられている。 有望な緩和法として、勾配に基づく最適化を用いることで、低次元計算(LDC)法は、精度を維持しながらベクトル次元を100倍削減する。
• 参考スコア（独自算出の注目度）: 19.389001612722307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vector Symbolic Architecture (VSA) is emerging in machine learning due to its efficiency, but they are hindered by issues of hyperdimensionality and accuracy. As a promising mitigation, the Low-Dimensional Computing (LDC) method significantly reduces the vector dimension by ~100 times while maintaining accuracy, by employing a gradient-based optimization. Despite its potential, LDC optimization for VSA is still underexplored. Our investigation into vector updates underscores the importance of stable, adaptive dynamics in LDC training. We also reveal the overlooked yet critical roles of batch normalization (BN) and knowledge distillation (KD) in standard approaches. Besides the accuracy boost, BN does not add computational overhead during inference, and KD significantly enhances inference confidence. Through extensive experiments and ablation studies across multiple benchmarks, we provide a thorough evaluation of our approach and extend the interpretability of binary neural network optimization similar to LDC, previously unaddressed in BNN literature.
• Abstract（参考訳）: ベクトル記号アーキテクチャ(VSA)は、その効率性から機械学習に登場しているが、超次元性と精度の問題によって妨げられている。 有望な緩和法として、勾配に基づく最適化を用いることで、低次元計算(LDC)法は、精度を維持しながらベクトル次元を約100倍削減する。 その可能性にもかかわらず、VSAのLCC最適化はまだ未定である。 ベクトル更新の研究は、LCDトレーニングにおける安定な適応力学の重要性を裏付けるものである。 また, バッチ正規化 (BN) と知識蒸留 (KD) の標準的アプローチにおける役割も明らかにした。 精度の向上に加えて、BNは推論中に計算オーバーヘッドを追加せず、KDは推論の信頼性を大幅に向上させる。 複数のベンチマークにわたる広範な実験とアブレーション研究を通じて、我々のアプローチを徹底的に評価し、以前はBNNの文献に書かれていなかったLCCに似たバイナリニューラルネットワーク最適化の解釈可能性を拡張する。

関連論文リスト

• Optimizers Qualitatively Alter Solutions And We Should Leverage This [62.662640460717476]
  ディープニューラルネットワーク(DNN)は、SGDのようなローカル情報のみを使用する場合、損失のグローバルな最小限に収束することを保証できない。 コミュニティは、既存のメソッドのバイアスを理解すること、また、ソリューションの特定の特性を誘発する明示的な意図で、新しいDNNを構築することを目的としている。
  論文  参考訳（メタデータ） (2025-07-16T13:33:31Z)
• Binarization-Aware Adjuster: Bridging Continuous Optimization and Binary Inference in Edge Detection [0.0]
  画像エッジ検出(ED)は、トレーニングと推論の根本的なミスマッチに直面します。 本稿では,バイナリ化アウェア (BAA) を設計するための理論的手法を提案する。 BAAは二項化の挙動を勾配に基づく最適化に明示的に組み入れている。
  論文  参考訳（メタデータ） (2025-06-14T11:56:44Z)
• LARGO: Low-Rank Regulated Gradient Projection for Robust Parameter Efficient Fine-Tuning [39.56217775141507]
  Low-rAnk Regulated Gradient Projection (LARGO)アルゴリズムは、動的制約を低ランク適応法に統合する。 LARGOは、ドメイン内および配布外のシナリオで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-06-14T08:19:11Z)
• Optimizing Latent Dimension Allocation in Hierarchical VAEs: Balancing Attenuation and Information Retention for OOD Detection [14.833454650943805]
  階層的変分オートエンコーダ(HVAE)は、従来のVAEよりも優れた表現能力を提供する。 既存のアプローチはしばしば遅延容量を任意に割り当て、非効率な表現や後続の崩壊につながる。 本稿では,HVAEにおける潜在次元割り当てを最適化するための理論的基盤となるフレームワークを提案する。 固定遅延予算の下で最適な割り当て比$rast$の存在を証明し、この比率を調整することでOOD検出性能が一貫したことを示す。
  論文  参考訳（メタデータ） (2025-06-11T18:16:19Z)
• OSoRA: Output-Dimension and Singular-Value Initialized Low-Rank Adaptation [9.048461365342204]
  大規模言語モデル(LLM)のための新しいPEFT法であるOSoRAを提案する。 OSoRAは、微調整中にトレーニング可能なパラメータの数を最小化することで、計算リソースの要求を大幅に削減する。 数学的推論、常識推論、その他のベンチマークの総合的な評価は、OSoRAが最先端の手法と同等または優れた性能を達成していることを示している。
  論文  参考訳（メタデータ） (2025-05-20T13:34:06Z)
• Learning Provably Improves the Convergence of Gradient Descent [9.82454981262489]
  本稿では,学習者によるL2O(Learning to Optimize)問題の収束について検討する。 アルゴリズムの接点により、L2Oの収束が著しく向上する。 以上の結果から,GD法では50%の成績を示した。
  論文  参考訳（メタデータ） (2025-01-30T02:03:30Z)
• Learnable Scaled Gradient Descent for Guaranteed Robust Tensor PCA [39.084456109467204]
  本稿では, t-SVD フレームワーク内での効率的なスケールド勾配降下(SGD)手法を提案する。 RTPCA-SGD は条件数に依存しない定数速度で真の低ランクテンソルへの線形収束を実現する。
  論文  参考訳（メタデータ） (2025-01-08T15:25:19Z)
• Preventing Local Pitfalls in Vector Quantization via Optimal Transport [77.15924044466976]
  我々はシンクホーンアルゴリズムを用いて最適な輸送問題を最適化する新しいベクトル量子化法であるOptVQを紹介する。 画像再構成タスクの実験では,OptVQが100%のコードブック利用を実現し,現在最先端のVQNを超越していることが示された。
  論文  参考訳（メタデータ） (2024-12-19T18:58:14Z)
• Understanding Optimization in Deep Learning with Central Flows [53.66160508990508]
  RMSの暗黙的な振る舞いは、微分方程式の「中央流:」によって明示的に捉えられることを示す。 これらのフローは、汎用ニューラルネットワークの長期最適化軌道を経験的に予測できることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:13Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Robust SVD Made Easy: A fast and reliable algorithm for large-scale data analysis [0.0]
  既存のロバストなSVDアルゴリズムは、ロバスト性のために速度を犠牲にしたり、わずかに外れ値が存在する場合に失敗することが多い。 本研究では,Spherally Normalized SVDというアルゴリズムを導入し,ロバストなSVD近似手法を提案する。 提案アルゴリズムは, 標準低ランクSVDアルゴリズムの2つの応用しか利用せず, 顕著な高速化を実現している。
  論文  参考訳（メタデータ） (2024-02-15T07:08:11Z)
• DRAUC: An Instance-wise Distributionally Robust AUC Optimization Framework [133.26230331320963]
  ROC曲線のエリア(AUC)は、長い尾の分類のシナリオにおいて広く用いられている指標である。 本研究では,分散ロバストAUC(DRAUC)のインスタンスワイドサロゲート損失を提案し,その上に最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-11-06T12:15:57Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• A Brain-Inspired Low-Dimensional Computing Classifier for Inference on Tiny Devices [17.976792694929063]
  超次元コンピューティング(HDC)に代わる低次元コンピューティング(LDC)を提案する。 我々は、LCC分類器をニューラルネットワークにマッピングし、原則化されたトレーニングアプローチを用いてモデルを最適化する。 我々のLCC分類器は、既存の脳にインスパイアされたHDCモデルに対して圧倒的な優位性を提供し、特に小さなデバイスでの推論に適している。
  論文  参考訳（メタデータ） (2022-03-09T17:20:12Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。