論文の概要: Embedding Subspace Partitioning for Dynamic Multi-Objective Retrieval
- arxiv url: http://arxiv.org/abs/2609.30601v1
- Date: Thu, 24 Sep 2026 22:30:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.15239
- Title: Embedding Subspace Partitioning for Dynamic Multi-Objective Retrieval
- Title(参考訳): 動的多目的検索のための埋め込み部分空間分割
- Abstract要約: 本研究では,タスク認識サブスペースへの埋め込みを分解する検索フレームワークである Embedding Subspace Partitioning (ESP) を提案する。
我々は,MS MARCOをベースとしたオープンソースのベンチマークでESPを評価した。
- 参考スコア(独自算出の注目度): 7.1358467086847455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern industrial recommender systems must optimize across competing objectives, balancing semantic relevance with business metrics such as engagement and revenue. While bi-encoders dominate large-scale retrieval due to their efficiency, they collapse these heterogeneous signals into a single static embedding space. This design creates a fundamental limitation: once trained, the retriever cannot adapt to shifting objective priorities at serving time without retraining. Moreover, joint optimization with multi-objective losses often induces interference between objectives, leading to suboptimal trade-offs. We propose Embedding Subspace Partitioning (ESP), a retrieval framework that decomposes the embedding into task-aware subspaces and replaces the single dot product with a weighted sum of per-subspace similarities, whose weights are tunable at serving time. For Transformer bi-encoders, ESP uses the model's native end-of-sequence token as a segment delimiter, with segment-aware attention masking and position encoding resets to guarantee subspace isolation in a single forward pass. Serving is performed via GPU-accelerated exhaustive kNN over one concatenated index, eliminating the need for per-objective Approximate Nearest Neighbor (ANN) infrastructure required by multi-head approaches. We evaluate ESP on an open-source benchmark built from MS MARCO. A single ESP model traces a broad Pareto frontier, consistently outperforming strong multi-task baselines across diverse operating points. In LinkedIn's job matching platform (70M+ weekly users), ESP enabled dynamic retrieval reconfiguration and delivered significant key business metric lifts.
- Abstract(参考訳): 現代の産業レコメンダシステムは、エンゲージメントや収益といったビジネス指標とのセマンティックな関連性をバランスさせ、競合する目標をまたいで最適化する必要があります。
バイエンコーダはその効率性から大規模な検索を支配しているが、これら不均一な信号を単一の静的埋め込み空間に分解する。
この設計は基本的な制限を生み出します – 一度トレーニングされると、レトリバーは、再トレーニングなしでサービス提供時に目的の優先順位を変更することに適応できません。
さらに、多目的損失を伴う共同最適化は、しばしば目的間の干渉を引き起こす。
本研究では,タスク認識サブスペースへの埋め込みを分解し,サブスペース毎の類似点の重み付き和に置き換える検索フレームワークであるEmbeding Subspace Partitioning (ESP)を提案する。
Transformerのバイエンコーダでは、ESPはモデルのネイティブエンド・オブ・シーケンストークンをセグメントデリミタとして使用し、セグメント対応のアテンションマスキングと位置エンコーディングリセットにより、1つのフォワードパスでサブスペースアイソレーションを保証する。
シリアビングは1つの連結インデックス上でGPUアクセラレーションされた排他的kNNを介して実行され、マルチヘッドアプローチで要求される、オブジェクトごとの近似近接ネバー(ANN)インフラストラクチャが不要になる。
我々は,MS MARCOをベースとしたオープンソースのベンチマークでESPを評価した。
1つのESPモデルは、幅広いパレートフロンティアを辿り、様々な操作ポイントにわたって強いマルチタスクベースラインを一貫して上回ります。
LinkedInのジョブマッチングプラットフォーム(毎週7000万以上のユーザ)では、ESPは動的検索の再設定を可能にし、重要なビジネスメトリクスリフトを提供した。
関連論文リスト
- Unifying Generative Recall and Multi-Objective Ranking in a Single Decoder-Only Sequence [26.231002784432842]
生成的リコールとランキングのスケーリングは、共通のTransformerベースのモデリング哲学を共有している。
我々は textbfUniR$2$, textbfUnified decoder のみの変換器を提案し, 生成 textbfRecall と Multi-Objective textbfRanking を統一する。
論文 参考訳(メタデータ) (2026-07-27T13:47:38Z) - Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning [15.445619998280243]
Federated Continual Multimodal Learning (FedCMM)は、フェデレート最適化ループに継続的学習セーフガードを組み込むフレームワークである。
FedCMMは、精度と後方転送の最近のベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-07-13T19:40:30Z) - Essential Subspace Merging for Multi-Task Learning [78.5390284258307]
タスク更新によって引き起こされる出力シフトを分析し、そのエネルギーが少数の主方向に集中していることを確認する。
残りのほとんどの方向は、タスク関連エネルギーをほとんど持たないが、複数のタスク更新にまたがる蓄積は、マージ中に深刻な干渉を引き起こす可能性がある。
ESDに基づいて,トレーニング不要な静的マージ手法であるEssential Subspace Merging (ESM)を導入する。
ESMをトレーニング不要な動的マージメソッドであるESM++に拡張し、タスク固有の残留物を低ランクの専門家に分解する。
論文 参考訳(メタデータ) (2026-06-17T15:07:11Z) - Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。
この定式化がモデリングのボトルネックを生み出すことを示す。
コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文 参考訳(メタデータ) (2026-05-14T18:30:10Z) - Model Merging in the Essential Subspace [78.5390284258307]
モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。
広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。
効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
論文 参考訳(メタデータ) (2026-02-23T00:33:38Z) - Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。
分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。
本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
論文 参考訳(メタデータ) (2026-02-06T16:39:10Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳(メタデータ) (2026-01-12T05:02:48Z) - SPANER: Shared Prompt Aligner for Multimodal Semantic Representation [0.0]
Shared Prompt AligNER (SPANER) は、様々なモダリティからの入力を統一的なセマンティック空間に埋め込むために設計された、モダリティに依存しないPEFTフレームワークである。
SPANERは、概念的なアンカーとして機能する共有プロンプト機構を採用しており、意味的に関連するインスタンスがモダリティに関係なく空間的に収束することを可能にする。
本結果は,適応重みを調整するのではなく,組込み構造を整列させることが,スケーラブルなマルチモーダル学習において重要であることを示す。
論文 参考訳(メタデータ) (2025-08-18T22:20:42Z) - RPCANet++: Deep Interpretable Robust PCA for Sparse Object Segmentation [51.37553739930992]
RPCANet++は、RPCAの解釈可能性と効率的なディープアーキテクチャを融合したスパースオブジェクトセグメンテーションフレームワークである。
我々のアプローチは、緩やかなRPCAモデルを背景近似モジュール(BAM)、対象抽出モジュール(OEM)、画像復元モジュール(IRM)からなる構造化ネットワークに展開する。
さまざまなデータセットの実験では、RPCANet++がさまざまなイメージングシナリオの下で最先端のパフォーマンスを達成することが示されている。
論文 参考訳(メタデータ) (2025-08-06T08:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。