論文の概要: Deep Hashing via Householder Quantization
- arxiv url: http://arxiv.org/abs/2311.04207v2
- Date: Tue, 19 Dec 2023 22:01:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 21:34:41.290582
- Title: Deep Hashing via Householder Quantization
- Title（参考訳）: householder量子化によるディープハッシュ
- Authors: Lucas R. Schwengber, Lucas Resende, Paulo Orenstein, Roberto I.
Oliveira
- Abstract要約: ハッシュは大規模な画像類似検索の中心にある。
一般的な解決策は、類似性学習項と量子化ペナルティ項を組み合わせた損失関数を採用することである。
本稿では,学習問題を2段階に分解する量子化戦略を提案する。
- 参考スコア（独自算出の注目度）: 3.106177436374861
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hashing is at the heart of large-scale image similarity search, and recent
methods have been substantially improved through deep learning techniques. Such
algorithms typically learn continuous embeddings of the data. To avoid a
subsequent costly binarization step, a common solution is to employ loss
functions that combine a similarity learning term (to ensure similar images are
grouped to nearby embeddings) and a quantization penalty term (to ensure that
the embedding entries are close to binarized entries, e.g., -1 or 1). Still,
the interaction between these two terms can make learning harder and the
embeddings worse. We propose an alternative quantization strategy that
decomposes the learning problem in two stages: first, perform similarity
learning over the embedding space with no quantization; second, find an optimal
orthogonal transformation of the embeddings so each coordinate of the embedding
is close to its sign, and then quantize the transformed embedding through the
sign function. In the second step, we parametrize orthogonal transformations
using Householder matrices to efficiently leverage stochastic gradient descent.
Since similarity measures are usually invariant under orthogonal
transformations, this quantization strategy comes at no cost in terms of
performance. The resulting algorithm is unsupervised, fast, hyperparameter-free
and can be run on top of any existing deep hashing or metric learning
algorithm. We provide extensive experimental results showing that this approach
leads to state-of-the-art performance on widely used image datasets, and,
unlike other quantization strategies, brings consistent improvements in
performance to existing deep hashing algorithms.
- Abstract（参考訳）: ハッシュ化は大規模画像類似性探索の核心であり,最近の手法はディープラーニング技術によって大幅に改善されている。
このようなアルゴリズムは通常、データの連続的な埋め込みを学習する。
その後のコスト二項化のステップを避けるため、共通解として、類似性学習項(類似画像が近傍の埋め込みにグループ化されることを保証する)と量子化ペナルティ項(埋め込みエントリが例えば-1 や 1)に近いことを保証する)を組み合わせた損失関数を用いる。
しかし、これらの2つの用語間の相互作用は学習を難しくし、埋め込みを悪化させる可能性がある。
まず、量子化のない埋め込み空間上で類似性学習を行い、次に埋め込みの座標がその符号に近いように埋め込みの最適直交変換を見つけ、次に符号関数を通して変換された埋め込みを量子化する。
第2段階では, 家計行列を用いて直交変換をパラメトリズして, 確率勾配降下を効率的に活用する。
類似度測度は通常直交変換の下で不変であるため、この量子化戦略は性能面ではコストがかからない。
結果として得られるアルゴリズムは教師なし、高速、ハイパーパラメータフリーであり、既存のディープハッシュやメトリック学習アルゴリズム上で実行できる。
我々は、この手法が広く使われている画像データセットの最先端のパフォーマンスにつながることを示し、他の量子化戦略とは異なり、既存のディープハッシュアルゴリズムに一貫した性能改善をもたらすことを示す。
関連論文リスト
- Towards Differentiable Multilevel Optimization: A Gradient-Based Approach [1.6114012813668932]
本稿では,多レベル最適化のための新しい勾配に基づくアプローチを提案する。
本手法は解の精度と収束速度を両立させながら計算複雑性を著しく低減する。
私たちの知る限りでは、これは暗黙の微分の一般的なバージョンを提供する最初のアルゴリズムの1つである。
論文 参考訳（メタデータ） (2024-10-15T06:17:59Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Beyond Neighbourhood-Preserving Transformations for Quantization-Based
Unsupervised Hashing [0.0]
効果的な教師なしハッシュアルゴリズムは、データの近傍構造を可能な限り保存するコンパクトなバイナリコードをもたらす。
厳密な変換を採用することは効果的であるが、量子化損失を究極の限界まで減らすことはできない。
これらの欠点により、量子化誤差と次元性を同時に低減するために、剛性および非剛性変換の両方を採用することを提案する。
論文 参考訳（メタデータ） (2021-10-01T05:13:01Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Learned Block Iterative Shrinkage Thresholding Algorithm for
Photothermal Super Resolution Imaging [52.42007686600479]
深層ニューラルネットワークに展開する反復アルゴリズムを用いて,学習したブロックスパース最適化手法を提案する。
本稿では、正規化パラメータの選択を学ぶことができる学習ブロック反復収縮しきい値アルゴリズムを使用することの利点を示す。
論文 参考訳（メタデータ） (2020-12-07T09:27:16Z) - Learning to solve TV regularized problems with unrolled algorithms [18.241062505073234]
トータル・バージョニング(Total Variation、TV)は、一方向定値信号を促進する一般的な正規化戦略である。
そこで我々は,2つのアプローチを開発し,そのメリットと限界を記述し,反復的な手順よりも実際に改善できる体制について議論する。
論文 参考訳（メタデータ） (2020-10-19T14:19:02Z) - Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth
Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。
本研究の結果は, 同時一次および二重側収束の形で表される。
論文 参考訳（メタデータ） (2020-08-23T20:36:49Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - SONIA: A Symmetric Blockwise Truncated Optimization Algorithm [2.9923891863939938]
本研究は, 経験的リスクに対する新しいアルゴリズムを提案する。
このアルゴリズムは、一部分空間における二階探索型更新を計算し、1階探索法と2階探索法の間のギャップを埋める。
論文 参考訳（メタデータ） (2020-06-06T19:28:14Z) - Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and
Self-Control Gradient Estimator [62.26981903551382]
バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。
本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。
この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-05-21T06:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。