論文の概要: Preventing Local Pitfalls in Vector Quantization via Optimal Transport
- arxiv url: http://arxiv.org/abs/2412.15195v1
- Date: Thu, 19 Dec 2024 18:58:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-20 13:32:45.156289
- Title: Preventing Local Pitfalls in Vector Quantization via Optimal Transport
- Title(参考訳): 最適輸送によるベクトル量子化における局所的な落とし穴の防止
- Authors: Borui Zhang, Wenzhao Zheng, Jie Zhou, Jiwen Lu,
- Abstract要約: 我々はシンクホーンアルゴリズムを用いて最適な輸送問題を最適化する新しいベクトル量子化法であるOptVQを紹介する。
画像再構成タスクの実験では,OptVQが100%のコードブック利用を実現し,現在最先端のVQNを超越していることが示された。
- 参考スコア(独自算出の注目度): 77.15924044466976
- License:
- Abstract: Vector-quantized networks (VQNs) have exhibited remarkable performance across various tasks, yet they are prone to training instability, which complicates the training process due to the necessity for techniques such as subtle initialization and model distillation. In this study, we identify the local minima issue as the primary cause of this instability. To address this, we integrate an optimal transport method in place of the nearest neighbor search to achieve a more globally informed assignment. We introduce OptVQ, a novel vector quantization method that employs the Sinkhorn algorithm to optimize the optimal transport problem, thereby enhancing the stability and efficiency of the training process. To mitigate the influence of diverse data distributions on the Sinkhorn algorithm, we implement a straightforward yet effective normalization strategy. Our comprehensive experiments on image reconstruction tasks demonstrate that OptVQ achieves 100% codebook utilization and surpasses current state-of-the-art VQNs in reconstruction quality.
- Abstract(参考訳): ベクトル量子化ネットワーク(VQN)は、様々なタスクで顕著な性能を示したが、微妙な初期化やモデルの蒸留といった技術を必要とするため、トレーニングプロセスが複雑になる、不安定なトレーニングを行う傾向にある。
本研究では,この不安定性の主な原因として,局所的なミニマ問題を特定する。
そこで本研究では,よりグローバルな情報提供を実現するために,近接探索の代わりに最適な輸送手法を統合する。
そこで我々は,Sinkhornアルゴリズムを用いて最適な輸送問題を最適化し,トレーニングプロセスの安定性と効率を向上させる新しいベクトル量子化手法であるOpsVQを紹介した。
シンクホーンアルゴリズムにおける多種多様なデータ分布の影響を軽減するために, 単純かつ効果的な正規化戦略を実装した。
画像再構成タスクに関する総合的な実験により、OptVQは100%のコードブック利用を実現し、現在最先端のVQNを超えていることが示された。
関連論文リスト
- Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。
数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
論文 参考訳(メタデータ) (2024-09-02T12:55:27Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳(メタデータ) (2024-07-11T10:35:53Z) - Optimal feature rescaling in machine learning based on neural networks [0.0]
遺伝的アルゴリズム(GA)により入力特徴の最適再スケーリング(OFR)を行う。
OFRは、トレーニングに使用される勾配ベースのアルゴリズムの条件付けを改善する入力空間を再設定する。
この手法は、実産業プロセスの結果をモデル化したFFNNでテストされている。
論文 参考訳(メタデータ) (2024-02-13T21:57:31Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳(メタデータ) (2022-10-31T09:46:26Z) - Enhanced Teaching-Learning-based Optimization for 3D Path Planning of
Multicopter UAVs [2.0305676256390934]
本稿では,無人航空機(UAV)の新しい経路計画アルゴリズムを提案する。
まず,UAVの移動と安全操作の制約と経路長の要件を組み込んだ目的関数を定義する。
次に, 目的関数の定式化を最小化するために, Multi-subject TLBO というアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-31T16:00:32Z) - Combining Reinforcement Learning and Optimal Transport for the Traveling
Salesman Problem [18.735056206844202]
我々は,従来の自己回帰的アプローチよりもはるかに高速に,監督や推論なしに学習できるモデルを構築することができることを示す。
また、ディープラーニングモデルに最適なトランスポートアルゴリズムを組み込むことで、エンドツーエンドのトレーニング中に割り当て制約を強制する利点を実証的に評価する。
論文 参考訳(メタデータ) (2022-03-02T07:21:56Z) - Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。
この2つの設定の間には自然なシナジーがあることが示されています。
この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文 参考訳(メタデータ) (2021-11-25T19:59:33Z) - Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。
本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。
ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文 参考訳(メタデータ) (2021-09-14T17:12:20Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳(メタデータ) (2020-06-18T19:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。