論文の概要: Amortizing Maximum Inner Product Search with Learned Support Functions

• arxiv url: http://arxiv.org/abs/2603.08001v1
• Date: Mon, 09 Mar 2026 06:09:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.597993
• Title: Amortizing Maximum Inner Product Search with Learned Support Functions
• Title（参考訳）: 学習支援機能を用いた内積探索の最大化
• Authors: Theo X. Olausson, João Monteiro, Michal Klein, Marco Cuturi,
• Abstract要約: 内部積探索 (MIPS) は機械学習において重要な計算である。 我々は、ニューラルネットワークをトレーニングしてMIPSソリューションを直接予測する学習ベースのアプローチである、Amortized MIPSを提案する。
• 参考スコア（独自算出の注目度）: 26.9616175011391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Maximum inner product search (MIPS) is a crucial subroutine in machine learning, requiring the identification of key vectors that align best with a given query. We propose amortized MIPS: a learning-based approach that trains neural networks to directly predict MIPS solutions, amortizing the computational cost of matching queries (drawn from a fixed distribution) to a fixed set of keys. Our key insight is that the MIPS value function, the maximal inner product between a query and keys, is also known as the support function of the set of keys. Support functions are convex, 1-homogeneous and their gradient w.r.t. the query is exactly the optimal key in the database. We approximate the support function using two complementary approaches: (1) we train an input-convex neural network (SupportNet) to model the support function directly; the optimal key can be recovered via (autodiff) gradient computation, and (2) we regress directly the optimal key from the query using a vector valued network (KeyNet), bypassing gradient computation entirely at inference time. To learn a SupportNet, we combine score regression with gradient matching losses, and propose homogenization wrappers that enforce the positive 1-homogeneity of a neural network, theoretically linking function values to gradients. To train a KeyNet, we introduce a score consistency loss derived from the Euler theorem for homogeneous functions. Our experiments show that learned SupportNet or KeyNet achieve high match rates and open up new directions to compress databases with a specific query distribution in mind.
• Abstract（参考訳）: 最大内部積探索(MIPS)は機械学習において重要なサブルーチンであり、与えられたクエリに最もよく一致するキーベクトルを識別する必要がある。 ニューラルネットワークによるMIPSソリューションを直接予測する学習ベースアプローチであるAmortized MIPSを提案する。 私たちのキーとなる洞察は、クエリとキー間の最大の内部積であるMIPS値関数が、キーセットのサポート関数としても知られていることです。 サポート関数は凸であり、1-均一であり、その勾配 w.r.t である。 我々は,(1)入力凸ニューラルネットワーク(SupportNet)をトレーニングして,サポート関数を直接モデル化し,(2)最適キーを(オートディフ)勾配計算により復元し,(2)ベクトル値ネットワーク(KeyNet)を用いてクエリから直接最適なキーを復元し,完全に推論時に勾配計算をバイパスする,という2つの補完的なアプローチを用いて支援関数を近似する。 SupportNetを学習するために、スコアレグレッションと勾配整合損失を組み合わせ、ニューラルネットワークの正の1-均一性を強制する均質化ラッパーを提案し、理論的に関数値を勾配にリンクする。 KeyNetを訓練するために、同次関数に対するオイラー定理から導かれるスコア一貫性損失を導入する。 実験の結果,学習したSupportNetやKeyNetは高い一致率を実現し,特定のクエリ分布を念頭においてデータベースを圧縮するための新たな方向を開くことができた。

関連論文リスト

• Outcome-Based Online Reinforcement Learning: Algorithms and Fundamental Limits [58.63897489864948]
  結果に基づくフィードバックによる強化学習は、根本的な課題に直面します。 適切なアクションにクレジットを割り当てるには? 本稿では,一般関数近似を用いたオンラインRLにおけるこの問題の包括的解析を行う。
  論文  参考訳（メタデータ） (2025-05-26T17:44:08Z)
• Towards Model-Size Agnostic, Compute-Free, Memorization-based Inference of Deep Learning [5.41530201129053]
  本稿では,新しい暗記ベース推論(MBI)を提案する。 具体的には、リカレント・アテンション・モデル(RAM)の推論機構に着目します。 低次元のスリープ性を活用することで、我々の推論手順は、スリープ位置、パッチベクトルなどからなるキー値対をテーブルに格納する。 計算は、テーブルを利用してキーと値のペアを読み出し、暗記による計算自由推論を実行することにより、推論中に妨げられる。
  論文  参考訳（メタデータ） (2023-07-14T21:01:59Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• NFL: Robust Learned Index via Distribution Transformation [14.812854942243503]
  本稿では、学習インデックスを構築する前に、鍵にテキスト分布変換を適用することで近似問題に取り組む。 2段階の正規化フローベース学習インデックスフレームワーク (NFL) が提案され、最初に元の複雑な鍵分布をほぼ一様に変換し、次に変換された鍵を利用する学習インデックスを構築する。 変換キーの特性に基づいて、ロバストなアフターフロー学習指標(AFLI)を提案する。
  論文  参考訳（メタデータ） (2022-05-24T06:03:19Z)
• Combinatorial optimization and reasoning with graph neural networks [7.8107109904672365]
  コンビナート最適化は、オペレーション研究とコンピュータサイエンスにおいて確立された領域です。 近年、機械学習、特にグラフニューラルネットワーク(GNN)をタスクの重要なビルディングブロックとして使用することへの関心が高まっています。
  論文  参考訳（メタデータ） (2021-02-18T18:47:20Z)
• Coresets for Near-Convex Functions [25.922075279588757]
  Coresetは通常、$mathbbRd$の$n$入力ポイントの小さな重み付きサブセットで、与えられたクエリの集合に対する損失関数を確実に近似する。 広い損失関数群に対する感性(およびコアセット)を計算するための一般的なフレームワークを提案する。 例えば、SVM、Logistic M-estimator、$ell_z$-regressionなどがある。
  論文  参考訳（メタデータ） (2020-06-09T19:49:19Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。