論文の概要: On Design Choices in Similarity-Preserving Sparse Randomized Embeddings

• arxiv url: http://arxiv.org/abs/2501.14741v1
• Date: Thu, 12 Dec 2024 12:51:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 07:48:11.181117
• Title: On Design Choices in Similarity-Preserving Sparse Randomized Embeddings
• Title（参考訳）: 類似性保存型スパースランダム化埋め込みの設計選択について
• Authors: Denis Kleyko, Dmitri A. Rachkovskij,
• Abstract要約: FlyHashアルゴリズムは類似性を保存するスパース埋め込みを生成する。 FlyHashには、入力データの事前処理など、いくつかの設計上の選択がある。 適切な設計選択の組み合わせは、検索性能に大きな違いをもたらす可能性がある。
• 参考スコア（独自算出の注目度）: 4.999045230082525
• License:
• Abstract: Expand & Sparsify is a principle that is observed in anatomically similar neural circuits found in the mushroom body (insects) and the cerebellum (mammals). Sensory data are projected randomly to much higher-dimensionality (expand part) where only few the most strongly excited neurons are activated (sparsify part). This principle has been leveraged to design a FlyHash algorithm that forms similarity-preserving sparse embeddings, which have been found useful for such tasks as novelty detection, pattern recognition, and similarity search. Despite its simplicity, FlyHash has a number of design choices to be set such as preprocessing of the input data, choice of sparsifying activation function, and formation of the random projection matrix. In this paper, we explore the effect of these choices on the performance of similarity search with FlyHash embeddings. We find that the right combination of design choices can lead to drastic difference in the search performance.
• Abstract（参考訳）: Expand & Sparsifyは、キノコの体(昆虫)と小脳(哺乳類)で見られる解剖学的に類似した神経回路で観察される原理である。 感覚データは無作為に高次元性(拡張部)に投影され、最も強い励起ニューロンのみが活性化される(分離部)。 この原理はFlyHashアルゴリズムの設計に活用され、類似性保存されたスパース埋め込みを形成し、新規性検出、パターン認識、類似性探索などのタスクに有用であることが判明した。 単純さにもかかわらず、FlyHashは入力データの事前処理、スペーシングアクティベーション関数の選択、ランダムなプロジェクション行列の生成など、多くの設計選択を設定すべきである。 本稿では,これらの選択がFlyHash埋め込みを用いた類似検索の性能に与える影響について検討する。 適切な設計選択の組み合わせは、検索性能に大きな違いをもたらす可能性がある。

関連論文リスト

• Node Similarities under Random Projections: Limits and Pathological Cases [9.452274776651494]
  ランダム投影法により, ドット積とコサインの類似性がいかによく保存されているかを検討する。 埋め込みによって誘導されるノード順序を反転させるランダムなプロジェクションの確率を計算することにより、基本的な結果をランキングアプリケーションに特殊化する。 ランダムな投射によって生じる統計的ノイズに関して、コサイン類似性は驚くほど正確な近似をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:35:25Z)
• Compact Neural Graphics Primitives with Learned Hash Probing [100.07267906666293]
  学習したプローブを持つハッシュテーブルにはデメリットはなく,その結果,サイズと速度の組合せが好適であることを示す。 推論は、トレーニングが1.2-2.6倍遅い間、同じ品質で未処理のハッシュテーブルよりも高速である。
  論文  参考訳（メタデータ） (2023-12-28T18:58:45Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Demystifying Randomly Initialized Networks for Evaluating Generative Models [28.8899914083501]
  生成モデルの評価は、主に、ある特徴空間における推定分布と基底真理分布の比較に基づいて行われる。 サンプルを情報的特徴に組み込むために、以前の研究では、分類に最適化された畳み込みニューラルネットワークを使用していた。 本稿では,ランダムな重み付きモデルの特徴空間を,訓練されたモデルと比較して厳密に検討する。
  論文  参考訳（メタデータ） (2022-08-19T08:43:53Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning [3.775565013663731]
  IMP (ShRIMP) を用いたスペーサーランダム特徴モデル(スペーサーランダム特徴モデル)を提案する。 提案手法は,2層密集ネットワークにおける疎く宝くじを作成・発見するための複合的なプロセスとみなすことができる。
  論文  参考訳（メタデータ） (2021-12-07T21:32:28Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)
• Bio-Inspired Hashing for Unsupervised Similarity Search [12.78093617645299]
  本稿では,データ駆動方式で疎い高次元ハッシュコードを生成する新しいハッシュアルゴリズムBioHashを提案する。 我々の研究は、LSHが様々な生物学的システムにおけるスパース拡大モチーフの膨大さの計算的理由である可能性を示唆する証拠を提供する。
  論文  参考訳（メタデータ） (2020-01-14T17:04:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。