論文の概要: Unified Functional Hashing in Automatic Machine Learning

• arxiv url: http://arxiv.org/abs/2302.05433v1
• Date: Fri, 10 Feb 2023 18:50:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-13 14:57:20.308275
• Title: Unified Functional Hashing in Automatic Machine Learning
• Title（参考訳）: 自動機械学習における統一関数ハッシュ
• Authors: Ryan Gillard, Stephen Jonany, Yingjie Miao, Michael Munn, Connal de Souza, Jonathan Dungay, Chen Liang, David R. So, Quoc V. Le, and Esteban Real
• Abstract要約: 高速に統一された関数型ハッシュを用いることで,大きな効率向上が得られることを示す。 私たちのハッシュは"機能的"であり、表現やコードが異なる場合でも同等の候補を識別します。 ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインで劇的な改善がなされている。
• 参考スコア（独自算出の注目度）: 58.77232199682271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of Automatic Machine Learning (AutoML) has recently attained impressive results, including the discovery of state-of-the-art machine learning solutions, such as neural image classifiers. This is often done by applying an evolutionary search method, which samples multiple candidate solutions from a large space and evaluates the quality of each candidate through a long training process. As a result, the search tends to be slow. In this paper, we show that large efficiency gains can be obtained by employing a fast unified functional hash, especially through the functional equivalence caching technique, which we also present. The central idea is to detect by hashing when the search method produces equivalent candidates, which occurs very frequently, and this way avoid their costly re-evaluation. Our hash is "functional" in that it identifies equivalent candidates even if they were represented or coded differently, and it is "unified" in that the same algorithm can hash arbitrary representations; e.g. compute graphs, imperative code, or lambda functions. As evidence, we show dramatic improvements on multiple AutoML domains, including neural architecture search and algorithm discovery. Finally, we consider the effect of hash collisions, evaluation noise, and search distribution through empirical analysis. Altogether, we hope this paper may serve as a guide to hashing techniques in AutoML.
• Abstract（参考訳）: 最近、AutoML(Automatic Machine Learning)の分野は、ニューラルイメージ分類器のような最先端の機械学習ソリューションの発見など、印象的な結果を得た。 これはしばしば、大きな空間から複数の候補解をサンプリングし、長い訓練プロセスを通じて各候補の品質を評価する進化的探索法を適用することによって行われる。 その結果、検索は遅くなる傾向にある。 本稿では,高速に統一された関数ハッシュを用いることで,特に機能等価キャッシング技術を用いて大きな効率向上が得られることを示す。 中心となる考え方は、探索手法が等価な候補を生成するときのハッシュによる検出であり、これは非常に頻繁に発生するため、コストのかかる再評価を避けることができる。 我々のハッシュは、それらが異なる表現や符号化されたとしても同等の候補を識別し、同じアルゴリズムが任意の表現(例えば計算グラフ、命令コード、ラムダ関数)をハッシュできるという点で「統一」されている。 証拠として、ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインに対する劇的な改善を示す。 最後に,ハッシュ衝突,評価雑音,探索分布の影響を経験的解析により検討する。 いずれにせよ、この論文がAutoMLのハッシュテクニックのガイドになることを期待している。

関連論文リスト

• Efficient Retrieval with Learned Similarities [2.729516456192901]
  最先端の検索アルゴリズムは、学習された類似点に移行した。 筆者らは,Mixture-of-Logits (MoL) が普遍近似であり,学習された類似度関数を全て表現できることを示した。 MoLはレコメンデーション検索タスクに新たな最先端結果を設定し、学習した類似性を持つ近似トップk検索は、最大2桁のレイテンシでベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-07-22T08:19:34Z)
• Learning Hidden Markov Models Using Conditional Samples [72.20944611510198]
  本稿では,隠れマルコフモデル(HMM)の学習における計算複雑性について述べる。 本稿では,HMMの条件分布からサンプルを問合せする対話型アクセスモデルを提案する。 具体的には、正確な条件付き確率に対するクエリアクセスが可能な設定において、HMMを学習するための効率的なアルゴリズムを得る。
  論文  参考訳（メタデータ） (2023-02-28T16:53:41Z)
• Learning to Hash Naturally Sorts [84.90210592082829]
  そこで我々はNaturely-Sorted Hashing (NSH)を導入し,最終結果のソートによる深層ハッシュモデルのトレーニングを行った。 NSHはサンプルのハッシュコードのハミング距離をソートし、それに従って自己教師付きトレーニングのための潜伏した表現を収集する。 Sorted Noise-Contrastive Estimation (SortedNCE) の新たな損失について述べる。
  論文  参考訳（メタデータ） (2022-01-31T16:19:02Z)
• Self-Distilled Hashing for Deep Image Retrieval [25.645550298697938]
  ハッシュベースの画像検索システムでは、元の入力から変換された入力は通常、異なるコードを生成する。 本稿では,拡張データの可能性を活用しつつ,相違を最小限に抑えるために,自己蒸留ハッシュ方式を提案する。 また、ハッシュプロキシに基づく類似性学習や、バイナリクロスエントロピーに基づく量子化損失を導入し、高品質なハッシュコードを提供する。
  論文  参考訳（メタデータ） (2021-12-16T12:01:50Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• Representation Learning for Efficient and Effective Similarity Search and Recommendation [6.280255585012339]
  この論文は、より表現力のある表現とより効果的な類似度尺度を通じてハッシュコードの有効性を向上させる表現学習に貢献する。 コントリビューションは、類似性検索とレコメンデーションに関連するいくつかのタスクで実証的に検証される。
  論文  参考訳（メタデータ） (2021-09-04T08:19:01Z)
• Unsupervised Multi-Index Semantic Hashing [23.169142004594434]
  マルチインデックスハッシュに最適化することで,効率的かつ高効率なハッシュコードを学習する教師なしハッシュモデルを提案する。 文書類似度検索のタスクにおいて、MISHと最先端のセマンティックハッシュベースラインを実験的に比較する。 マルチインデックスハッシュは、線形スキャンと比較してベースラインの効率も向上しますが、MISHよりも33%遅くなっています。
  論文  参考訳（メタデータ） (2021-03-26T13:33:48Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• CIMON: Towards High-quality Hash Codes [63.37321228830102]
  我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。 まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
  論文  参考訳（メタデータ） (2020-10-15T14:47:14Z)
• Image Hashing by Minimizing Discrete Component-wise Wasserstein Distance [12.968141477410597]
  競合するオートエンコーダは、バランスよく高品質なハッシュコードを生成する堅牢で局所性を保存するハッシュ関数を暗黙的に学習できることが示されている。 既存の逆ハッシュ法は、大規模な画像検索に非効率である。 本稿では,サンプル要求と計算コストを大幅に低減した,新しい対向型オートエンコーダハッシュ手法を提案する。
  論文  参考訳（メタデータ） (2020-02-29T00:22:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。