論文の概要: KALAHash: Knowledge-Anchored Low-Resource Adaptation for Deep Hashing
- arxiv url: http://arxiv.org/abs/2412.19417v1
- Date: Fri, 27 Dec 2024 03:04:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:26:18.238581
- Title: KALAHash: Knowledge-Anchored Low-Resource Adaptation for Deep Hashing
- Title（参考訳）: KALAHash: ディープラーニングのための知識アンコール型低リソース適応
- Authors: Shu Zhao, Tan Yu, Xiaoshuai Hao, Wenchao Ma, Vijaykrishnan Narayanan,
- Abstract要約: 既存のディープハッシュ手法は豊富なトレーニングデータに依存しており、低リソース適応のより困難なシナリオは比較的過小評価されている。
そこで我々は,クラスレベルのテキスト知識の埋め込みを活用することで,低ランク適応を動的に構築する新しいプラグイン・アンド・プレイアプローチであるClass-Calibration LoRAを紹介する。
提案手法であるKnowledge-Anchored Low-Resource Adaptation Hashing (KALAHash)は,検索性能を大幅に向上し,低リソースシナリオにおけるデータ効率を4倍に向上させる。
- 参考スコア（独自算出の注目度）: 19.667480064079083
- License:
- Abstract: Deep hashing has been widely used for large-scale approximate nearest neighbor search due to its storage and search efficiency. However, existing deep hashing methods predominantly rely on abundant training data, leaving the more challenging scenario of low-resource adaptation for deep hashing relatively underexplored. This setting involves adapting pre-trained models to downstream tasks with only an extremely small number of training samples available. Our preliminary benchmarks reveal that current methods suffer significant performance degradation due to the distribution shift caused by limited training samples. To address these challenges, we introduce Class-Calibration LoRA (CLoRA), a novel plug-and-play approach that dynamically constructs low-rank adaptation matrices by leveraging class-level textual knowledge embeddings. CLoRA effectively incorporates prior class knowledge as anchors, enabling parameter-efficient fine-tuning while maintaining the original data distribution. Furthermore, we propose Knowledge-Guided Discrete Optimization (KIDDO), a framework to utilize class knowledge to compensate for the scarcity of visual information and enhance the discriminability of hash codes. Extensive experiments demonstrate that our proposed method, Knowledge- Anchored Low-Resource Adaptation Hashing (KALAHash), significantly boosts retrieval performance and achieves a 4x data efficiency in low-resource scenarios.
- Abstract（参考訳）: ディープハッシュは、ストレージと探索効率のため、近隣の大規模探索に広く利用されている。
しかし、既存のディープハッシュ法は主に豊富なトレーニングデータに依存しており、より難易度の高い低リソース適応のシナリオは比較的過小評価されている。
この設定では、トレーニング済みのモデルを、非常に少数のトレーニングサンプルでダウンストリームタスクに適応させる。
予備ベンチマークでは, 限られたトレーニングサンプルによる分布変化により, 現在の手法では性能が著しく低下していることが明らかとなった。
これらの課題に対処するために,クラスレベルのテキスト知識の埋め込みを活用することで,低ランク適応行列を動的に構築する新しいプラグイン・アンド・プレイアプローチであるClass-Calibration LoRA(CLoRA)を導入する。
CLoRAは、事前クラス知識をアンカーとして効果的に組み込んで、元のデータ分布を維持しながらパラメータ効率の良い微調整を可能にする。
さらに、クラス知識を利用して視覚情報の不足を補い、ハッシュコードの識別性を向上するフレームワークである知識誘導離散最適化(KIDDO)を提案する。
提案手法であるKnowledge-Anchored Low-Resource Adaptation Hashing (KALAHash) は,検索性能を大幅に向上し,低リソースシナリオにおけるデータ効率を4倍に向上することを示す。
関連論文リスト
- Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task [0.0]
本稿では,サリエンシ誘導学習と量子化技術を組み合わせて,解釈可能かつ資源効率のよいモデルを構築するアプローチを提案する。
以上の結果から,Saliency-Guided Training と PACT-based Quantization の併用は,分類性能を維持するだけでなく,より効率的かつ解釈可能なモデルを生成することが示唆された。
論文 参考訳（メタデータ） (2024-12-05T06:34:06Z) - A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。
我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。
私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
論文 参考訳（メタデータ） (2024-09-03T13:29:13Z) - Fast Fishing: Approximating BAIT for Efficient and Scalable Deep Active Image Classification [1.8567173419246403]
Deep Active Learning (AL)は、ディープニューラルネットワークのトレーニングに要するアノテーションコストを最小限にすることを目指している。
Fisher Informationをベースにした最近提案されたAL戦略であるBAITは、さまざまなデータセットで素晴らしいパフォーマンスを示している。
本稿では,BAITの計算効率とスケーラビリティを向上する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-04-13T12:09:37Z) - Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。
既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。
アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
論文 参考訳（メタデータ） (2024-03-19T18:57:53Z) - KAKURENBO: Adaptively Hiding Samples in Deep Neural Network Training [2.8804804517897935]
深層ニューラルネットワークのトレーニングにおいて,最も重要でないサンプルを隠蔽する手法を提案する。
我々は,学習プロセス全体への貢献に基づいて,与えられたエポックを除外するサンプルを適応的に見つける。
本手法は, ベースラインと比較して, 最大22%の精度でトレーニング時間を短縮できる。
論文 参考訳（メタデータ） (2023-10-16T06:19:29Z) - Cascading Hierarchical Networks with Multi-task Balanced Loss for
Fine-grained hashing [1.6244541005112747]
きめ細かいハッシュは従来のハッシュ問題よりも難しい。
本稿では,コンパクトでセマンティックなハッシュコードを学習するためのカスケードネットワークを提案する。
また,マルチタスク学習の損失を協調的にバランスさせる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-03-20T17:08:48Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳（メタデータ） (2021-08-26T14:01:04Z) - Boosting Weakly Supervised Object Detection via Learning Bounding Box
Adjusters [76.36104006511684]
高価なインスタンスレベルのオブジェクトアノテーションを避けるため、WSOD(Weakly-supervised Object Detection)が最近の話題として登場した。
我々は、よく注釈付けされた補助データセットからバウンディングボックス回帰知識を活用することにより、ローカライズ性能を向上させるための問題設定を擁護する。
提案手法は,WSOD法と知識伝達モデルに対して,同様の問題設定で良好に機能する。
論文 参考訳（メタデータ） (2021-08-03T13:38:20Z) - Fast Class-wise Updating for Online Hashing [196.14748396106955]
本稿では,FCOH(Fast Class-wise Updating for Online Hashing)と呼ばれる新しいオンラインハッシュ方式を提案する。
クラスワイズ更新法は、バイナリコード学習を分解し、代わりにクラスワイズ方式でハッシュ関数を更新する。
オンラインの効率をより高めるために,異なるバイナリ制約を独立に扱うことで,オンライントレーニングを高速化する半緩和最適化を提案する。
論文 参考訳（メタデータ） (2020-12-01T07:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。