論文の概要: Large-Scale Visual Search with Binary Distributed Graph at Alibaba

• arxiv url: http://arxiv.org/abs/2102.04656v1
• Date: Tue, 9 Feb 2021 05:51:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-10 14:53:18.676698
• Title: Large-Scale Visual Search with Binary Distributed Graph at Alibaba
• Title（参考訳）: Alibabaのバイナリ分散グラフによる大規模ビジュアル検索
• Authors: Kang Zhao, Pan Pan, Yun Zheng, Yanhao Zhang, Changxu Wang, Yingya Zhang, Yinghui Xu, Rong Jin
• Abstract要約: グラフベースの近接検索は、オンライン検索の優位性により、ますます注目を集めている。 数十億のオンライン画像が展開されている視覚検索システムでは、時間内に10億スケールのオフライングラフを構築することが不可欠だ。 本稿では,この問題を解決するために分散バイナリグラフという新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 40.228306219456506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph-based approximate nearest neighbor search has attracted more and more attentions due to its online search advantages. Numbers of methods studying the enhancement of speed and recall have been put forward. However, few of them focus on the efficiency and scale of offline graph-construction. For a deployed visual search system with several billions of online images in total, building a billion-scale offline graph in hours is essential, which is almost unachievable by most existing methods. In this paper, we propose a novel algorithm called Binary Distributed Graph to solve this problem. Specifically, we combine binary codes with graph structure to speedup online and offline procedures, and achieve comparable performance with the ones in real-value based scenarios by recalling more binary candidates. Furthermore, the graph-construction is optimized to completely distributed implementation, which significantly accelerates the offline process and gets rid of the limitation of memory and disk within a single machine. Experimental comparisons on Alibaba Commodity Data Set (more than three billion images) show that the proposed method outperforms the state-of-the-art with respect to the online/offline trade-off.
• Abstract（参考訳）: グラフベースの近似近接探索は、そのオンライン検索の利点のためにますます注目を集めている。 速度とリコールの強化を研究する多くの方法が提案されている。 しかし、オフライングラフ構築の効率とスケールにフォーカスする人は少ない。 数十億のオンライン画像が展開されている視覚検索システムでは、時間内に数十億のスケールのオフライングラフを構築することが不可欠である。 本稿では,この問題を解くために,Binary Distributed Graphと呼ばれるアルゴリズムを提案する。 具体的には、バイナリコードとグラフ構造を組み合わせて、オンラインおよびオフラインプロシージャを高速化し、より多くのバイナリ候補をリコールすることで、実値ベースのシナリオで同等のパフォーマンスを達成する。 さらに、グラフ構築は完全な分散実装に最適化され、オフラインプロセスが大幅に加速され、単一マシン内のメモリとディスクの制限が排除される。 Alibaba Commodity Data Set(30億枚以上の画像)の実験的比較は、提案手法がオンライン/オフラインのトレードオフに関して最先端の手法を上回っていることを示している。

関連論文リスト

• Know Your Neighborhood: General and Zero-Shot Capable Binary Function Search Powered by Call Graphlets [0.7646713951724013]
  本稿では,コールグラフレットと呼ばれる新しいグラフデータ表現を組み合わせた,新しいグラフニューラルネットワークアーキテクチャを提案する。 専門的なグラフニューラルネットワークモデルは、このグラフ表現に基づいて動作し、セマンティックバイナリコードの類似性を符号化する特徴ベクトルにマッピングすることを学ぶ。 実験結果から,コールグラフレットと新しいグラフニューラルネットワークアーキテクチャを組み合わせることで,同等あるいは最先端の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-06-02T18:26:50Z)
• Online Lane Graph Extraction from Onboard Video [133.68032636906133]
  オンボードカメラからの映像ストリームを、周囲のレーングラフのオンライン抽出に使用しています。 入力が1つの画像ではなくビデオを使うことは、異なるタイムステップからの情報を組み合わせることのメリットと課題の両方をもたらす。 提案手法の1つのモデルでは、1つを含む任意の数の画像を処理し、正確なレーングラフを生成することができる。
  論文  参考訳（メタデータ） (2023-04-03T12:36:39Z)
• Distributed Graph Embedding with Information-Oriented Random Walks [16.290803469068145]
  グラフ埋め込みはグラフノードを低次元ベクトルにマッピングし、機械学習タスクで広く採用されている。 数十億のエッジグラフを埋め込むためにスケール可能な,汎用的で分散された情報中心のランダムウォークベースのグラフ埋め込みフレームワークであるDistGERを提案する。 D DistGERは2.33x-129x加速、機械間通信の45%削減、下流タスクの10%改善を示す。
  論文  参考訳（メタデータ） (2023-03-28T03:11:21Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Large-Scale Network Embedding in Apache Spark [1.3769786711365102]
  本稿では,Apache Sparkを用いた大規模グラフへのネットワーク埋め込みのための効率的かつ効率的な分散アルゴリズムを提案する。 提案手法は数時間で数十億のエッジを持つグラフを処理でき、最先端のアプローチよりも少なくとも4倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-06-20T04:42:24Z)
• Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking [58.30147362745852]
  フレーム間のデータアソシエーションは、Multiple Object Tracking(MOT)タスクの中核にある。 既存の手法は、主にトラックレットとフレーム内検出の間のコンテキスト情報を無視する。 そこで本研究では,学習可能なグラフマッチング手法を提案する。
  論文  参考訳（メタデータ） (2021-03-30T08:58:45Z)
• APAN: Asynchronous Propagation Attention Network for Real-time Temporal Graph Embedding [9.079571166966614]
  リアルタイム時間グラフ埋め込みのための連続時間動的グラフアルゴリズムを提案する。 モデル推論とグラフ計算のステップを分離し、重いグラフクエリ操作がモデル推論の速度を損なわないようにします。
  論文  参考訳（メタデータ） (2020-11-23T16:58:50Z)
• Second-Order Pooling for Graph Neural Networks [62.13156203025818]
  グラフプーリングとして2次プールを提案するが、これは上記の課題を自然に解決する。 グラフニューラルネットワークによる2次プールの直接利用は、実用的な問題を引き起こすことを示す。 本稿では,2次プールに基づく2つの新しいグローバルグラフプーリング手法,すなわちバイリニアマッピングと2次プールを提案する。
  論文  参考訳（メタデータ） (2020-07-20T20:52:36Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• SIGN: Scalable Inception Graph Neural Networks [4.5158585619109495]
  本稿では,グラフサンプリングの必要性を助長する,効率的でスケーラブルなグラフ深層学習アーキテクチャを提案する。 私たちのアーキテクチャでは、異なるローカルグラフ演算子を使用して、そのタスクに最も適しています。 我々は,1億1000万のノードと15億のエッジを持つ,最大の公開グラフデータセットであるogbn-papers100Mについて,最先端の結果を得た。
  論文  参考訳（メタデータ） (2020-04-23T14:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。