論文の概要: Search-oriented Differentiable Product Quantization

• arxiv url: http://arxiv.org/abs/2104.07858v1
• Date: Fri, 16 Apr 2021 02:25:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 03:59:02.504349
• Title: Search-oriented Differentiable Product Quantization
• Title（参考訳）: 探索指向の微分可能な製品量子化
• Authors: Shitao Xiao, Zheng Liu, Yingxia Shao, Defu Lian, Xing Xie
• Abstract要約: 製品量子化(PQ)は、最大内部積探索(MIPS)のための一般的なアプローチである 本研究では,新規な訓練目的 MCL を定式化する検索指向製品量化(SoPQ)を提案する。 MCLの最小化により、異なるPQに対してクエリとキーのマッチング確率を最大化することができる。
• 参考スコア（独自算出の注目度）: 40.06630442133411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Product quantization (PQ) is a popular approach for maximum inner product search (MIPS), which is widely used in ad-hoc retrieval. Recent studies propose differentiable PQ, where the embedding and quantization modules can be trained jointly. However, there is a lack of in-depth understanding of appropriate joint training objectives; and the improvements over non-differentiable baselines are not consistently positive in reality. In this work, we propose Search-oriented Product Quantization (SoPQ), where a novel training objective MCL is formulated. With the minimization of MCL, query and key's matching probability can be maximized for the differentiable PQ. Besides, VCS protocol is designed to facilitate the minimization of MCL, and SQL is leveraged to relax the dependency on labeled data. Extensive experiments on 4 real-world datasets validate the effectiveness of our proposed methods.
• Abstract（参考訳）: 積量子化 (pq) は最大内積探索 (mips) に対する一般的なアプローチであり、アドホック検索で広く使われている。 近年の研究では、埋め込みモジュールと量子化モジュールを共同で訓練できる微分可能なPQが提案されている。 しかし、適切なジョイントトレーニング目標に対する深い理解が欠如しており、非微分不可能なベースラインに対する改善は、現実的には一貫して肯定的ではない。 本研究では,新しい学習目標であるmclを定式化するサーチ指向製品量子化(sopq)を提案する。 MCLの最小化により、異なるPQに対してクエリとキーのマッチング確率を最大化することができる。 さらに、VCSプロトコルはMCLの最小化を容易にするように設計されており、SQLはラベル付きデータへの依存を緩和するために利用される。 4つの実世界のデータセットに関する広範囲な実験により,提案手法の有効性が検証された。

関連論文リスト

• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations [4.666056064419346]
  効率的な符号化仮説は、感覚系の応答特性が入力の統計に適応していることを提案する。 エレガントではあるものの、情報理論の特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。 ここでは、多様体の容量を直接最適化し、最大多様体容量表現(MMCR)が得られるという仮定を概説する。
  論文  参考訳（メタデータ） (2023-03-06T17:26:30Z)
• Q-Pensieve: Boosting Sample Efficiency of Multi-Objective RL Through Memory Sharing of Q-Snapshots [11.533449955841968]
  そこで我々は,Q-Pensieveを提案する。Q-Pensieveは,Q-Snapshotのコレクションを格納し,ポリシー更新の方向性を共同で決定する政策改善スキームである。 本稿では,Q-Pensieveが収束保証付きソフトポリシー反復と自然に統合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-06T16:29:47Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality [141.89413461337324]
  展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である 本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
  論文  参考訳（メタデータ） (2022-02-14T01:31:46Z)
• Implicit MLE: Backpropagating Through Discrete Exponential Family Distributions [24.389388509299543]
  Implicit Maximum Likelihood Estimationは、離散指数族分布と微分可能なニューラル成分を組み合わせたモデルのエンドツーエンド学習のためのフレームワークである。 I-MLEは、問題固有の緩和に依存する既存のアプローチよりも優れており、しばしば優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:42:21Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• Automatic selection of basis-adaptive sparse polynomial chaos expansions for engineering applications [0.0]
  スパースカオス展開のための3つの最新技術に基づく基礎適応的アプローチについて述べる。 我々は,大規模な計算モデルに対して,大域的近似精度の観点から広範なベンチマークを行う。 クロスバリデーションエラーによって導かれる新しい解法と基底適応性選択スキームを導入する。
  論文  参考訳（メタデータ） (2020-09-10T12:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。