論文の概要: Online Enhanced Semantic Hashing: Towards Effective and Efficient Retrieval for Streaming Multi-Modal Data

• arxiv url: http://arxiv.org/abs/2109.04260v1
• Date: Thu, 9 Sep 2021 13:30:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 22:55:55.066621
• Title: Online Enhanced Semantic Hashing: Towards Effective and Efficient Retrieval for Streaming Multi-Modal Data
• Title（参考訳）: online enhanced semantic hashing: towards effective and efficient retrieval for streaming multi-modal data
• Authors: Xiao-Ming Wu, Xin Luo, Yu-Wei Zhan, Chen-Lu Ding, Zhen-Duo Chen, Xin-Shun Xu
• Abstract要約: オンライン・エンハンス・セマントイック・ハシグ(OASIS)と呼ばれる新しいモデルを提案する。 我々は、新しいクラスを扱うのに役立つ、新しいセマンティック強化されたデータ表現を設計する。 我々の手法は最先端のモデルを超えることができる。
• 参考スコア（独自算出の注目度）: 21.157717777481572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the vigorous development of multimedia equipment and applications, efficient retrieval of large-scale multi-modal data has become a trendy research topic. Thereinto, hashing has become a prevalent choice due to its retrieval efficiency and low storage cost. Although multi-modal hashing has drawn lots of attention in recent years, there still remain some problems. The first point is that existing methods are mainly designed in batch mode and not able to efficiently handle streaming multi-modal data. The second point is that all existing online multi-modal hashing methods fail to effectively handle unseen new classes which come continuously with streaming data chunks. In this paper, we propose a new model, termed Online enhAnced SemantIc haShing (OASIS). We design novel semantic-enhanced representation for data, which could help handle the new coming classes, and thereby construct the enhanced semantic objective function. An efficient and effective discrete online optimization algorithm is further proposed for OASIS. Extensive experiments show that our method can exceed the state-of-the-art models. For good reproducibility and benefiting the community, our code and data are already available in supplementary material and will be made publicly available.
• Abstract（参考訳）: マルチメディア機器や応用の活発な開発により、大規模マルチモーダルデータの効率的な検索がトレンドとなっている。 それゆえ,ハッシュ処理は検索効率とストレージコストの低さから,一般的な選択となっている。 近年、マルチモーダルハッシュが注目されているが、まだいくつかの問題が残っている。 まず、既存のメソッドは主にバッチモードで設計されており、マルチモーダルデータのストリーミングを効率的に処理できない。 第2のポイントは、既存のオンラインマルチモーダルハッシュメソッドが、ストリーミングデータチャンクに連続して現れる、目に見えない新しいクラスを効果的に処理できないことだ。 本稿では,OASIS(Online enhAnced SemantIc hashing)と呼ばれる新しいモデルを提案する。 我々は、新しいクラスを扱えるような、新しいセマンティック強化されたデータ表現を設計し、拡張セマンティックな目的関数を構築する。 OASISでは効率よく効果的な離散オンライン最適化アルゴリズムが提案されている。 広範な実験により,本手法は最先端のモデルを超えることが判明した。 良好な再現性とコミュニティの利益のために、私たちのコードとデータは、すでに補足資料として利用可能であり、公開されます。

関連論文リスト

• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• CLIP Multi-modal Hashing for Multimedia Retrieval [7.2683522480676395]
  本稿では,CLIP Multi-modal Hashing (CLIPMH)法を提案する。 提案手法では,CLIPフレームワークを用いてテキストと視覚の両方の特徴を抽出し,それらを融合してハッシュコードを生成する。 最先端の教師なしおよび教師付きマルチモーダルハッシュ法と比較して,提案したCLIPMHは性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2024-10-10T10:13:48Z)
• CLIP Multi-modal Hashing: A new baseline CLIPMH [4.057431980018267]
  本稿では,新しいベースラインCLIP Multi-modal Hashing (CLIPMH)法を提案する。 CLIPモデルを使ってテキストと画像の特徴を抽出し、ヒューズしてハッシュコードを生成する。 最先端の教師なしおよび教師付きマルチモーダルハッシュ法と比較して,提案したCLIPMHは性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-08-22T21:29:55Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
  Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。 生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
  論文  参考訳（メタデータ） (2023-05-29T05:20:38Z)
• Asymmetric Scalable Cross-modal Hashing [51.309905690367835]
  クロスモーダルハッシュは、大規模なマルチメディア検索問題を解決する方法として成功している。 これらの問題に対処する新しい非対称スケーラブルクロスモーダルハッシュ(ASCMH)を提案する。 我々のASCMHは、最先端のクロスモーダルハッシュ法よりも精度と効率の点で優れています。
  論文  参考訳（メタデータ） (2022-07-26T04:38:47Z)
• Dynamic Multimodal Fusion [8.530680502975095]
  動的マルチモーダル融合(DynMM)は,マルチモーダルデータを適応的に融合し,推論中にデータ依存の前方経路を生成する新しい手法である。 様々なマルチモーダルタスクの結果は、我々のアプローチの効率性と幅広い適用性を示している。
  論文  参考訳（メタデータ） (2022-03-31T21:35:13Z)
• Fast Class-wise Updating for Online Hashing [196.14748396106955]
  本稿では,FCOH(Fast Class-wise Updating for Online Hashing)と呼ばれる新しいオンラインハッシュ方式を提案する。 クラスワイズ更新法は、バイナリコード学習を分解し、代わりにクラスワイズ方式でハッシュ関数を更新する。 オンラインの効率をより高めるために,異なるバイナリ制約を独立に扱うことで,オンライントレーニングを高速化する半緩和最適化を提案する。
  論文  参考訳（メタデータ） (2020-12-01T07:41:54Z)
• Creating Something from Nothing: Unsupervised Knowledge Distillation for Cross-Modal Hashing [132.22315429623575]
  クロスモーダルハッシュ(CMH)は、特に視覚や言語において、異なるモーダルからのコンテンツを同じ空間にマッピングすることができる。 CMHには2つの主要なフレームワークがある。 本稿では,教師なし手法を用いて教師なし手法を導出する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T08:32:15Z)
• Deep Multi-View Enhancement Hashing for Image Retrieval [40.974719473643724]
  本稿では,ニューラルネットワークによるマルチビュー情報の強化が可能な教師付きマルチビューハッシュモデルを提案する。 提案手法は, CIFAR-10, NUS-WIDE, MS-COCOデータセットを用いて, システム評価を行った。
  論文  参考訳（メタデータ） (2020-02-01T08:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。