論文の概要: Unified Work Embeddings: Contrastive Learning of a Bidirectional Multi-task Ranker

• arxiv url: http://arxiv.org/abs/2511.07969v1
• Date: Wed, 12 Nov 2025 01:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.569828
• Title: Unified Work Embeddings: Contrastive Learning of a Bidirectional Multi-task Ranker
• Title（参考訳）: Unified Work Embeddings: 双方向マルチタスクランカのコントラスト学習
• Authors: Matthias De Lange, Jens-Joris Decorte, Jeroen Van Hautte,
• Abstract要約: ランキング問題として明示的に定式化された6つの作業関連タスクにまたがる最初の統合評価スイートであるWorkBenchを紹介した。 この洞察を用いて、実世界のデータからタスク固有の二部グラフを作成し、グラウンド化を通じて合成的にリッチ化する。 これは、多対多のInfoNCE目標でトレーニングデータ構造を利用するタスク非依存のバイエンコーダであるUnified Work Embeddings(UWE)につながります。
• 参考スコア（独自算出の注目度）: 3.4204762278595346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Workforce transformation across diverse industries has driven an increased demand for specialized natural language processing capabilities. Nevertheless, tasks derived from work-related contexts inherently reflect real-world complexities, characterized by long-tailed distributions, extreme multi-label target spaces, and scarce data availability. The rise of generalist embedding models prompts the question of their performance in the work domain, especially as progress in the field has focused mainly on individual tasks. To this end, we introduce WorkBench, the first unified evaluation suite spanning six work-related tasks formulated explicitly as ranking problems, establishing a common ground for multi-task progress. Based on this benchmark, we find significant positive cross-task transfer, and use this insight to compose task-specific bipartite graphs from real-world data, synthetically enriched through grounding. This leads to Unified Work Embeddings (UWE), a task-agnostic bi-encoder that exploits our training-data structure with a many-to-many InfoNCE objective, and leverages token-level embeddings with task-agnostic soft late interaction. UWE demonstrates zero-shot ranking performance on unseen target spaces in the work domain, enables low-latency inference by caching the task target space embeddings, and shows significant gains in macro-averaged MAP and RP@10 over generalist embedding models.
• Abstract（参考訳）: 様々な産業にまたがる労働力の変革は、専門的な自然言語処理能力への需要を増大させてきた。 それでも、仕事に関連したコンテキストから派生したタスクは、本質的には現実世界の複雑さを反映しており、長い尾の分布、極端なマルチラベルのターゲット空間、データ可用性が不足していることが特徴である。 一般化的埋め込みモデルの台頭は、特に分野の進歩が主に個々のタスクに焦点を当てているため、作業領域におけるそれらのパフォーマンスに関する疑問を引き起こす。 この目的のために、我々は6つの作業関連タスクにまたがる最初の統合評価スイートであるWorkBenchを導入し、マルチタスク進捗の共通基盤を確立した。 このベンチマークに基づいて,本知見を用いて実世界のデータからタスク固有の二部グラフを合成し,グラウンド化により拡張した。 これはタスク非依存のバイエンコーダであるUnified Work Embeddings(UWE)につながります。これは、多から多までのInfoNCE目標でトレーニングデータ構造を利用し、タスク非依存のソフトレイトインタラクションによるトークンレベルの埋め込みを活用します。 UWEは、作業領域の未確認対象空間におけるゼロショットランク付け性能を示し、タスク対象空間の埋め込みをキャッシュすることで低レイテンシ推論を可能にし、一般的な埋め込みモデルよりもマクロ平均MAPとRP@10が大幅に向上したことを示す。

関連論文リスト

• Multi-Task Label Discovery via Hierarchical Task Tokens for Partially Annotated Dense Predictions [44.78165979575075]
  本稿では,コンパクトな学習可能な階層型タスクトークンの集合を最適化する新しい手法を提案する。 グローバルタスクトークンは、グローバルコンテキストにおける効果的なクロスタスク機能インタラクションのために設計されている。 各タスクに対するきめ細かいタスク固有の空間トークンのグループを、対応するグローバルタスクトークンから学習する。 学習されたグローバルおよび局所的な細粒度タスクトークンは、異なるレベルの粒度で擬似タスク固有の密度ラベルを発見するためにさらに使用される。
  論文  参考訳（メタデータ） (2024-11-27T23:53:27Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• BridgeNet: Comprehensive and Effective Feature Interactions via Bridge Feature for Multi-task Dense Predictions [29.049866510120093]
  マルチタスク密度予測は,複数の画素単位の予測タスクを統合ネットワーク内で同時に処理し,視覚的シーン理解を実現することを目的としている。 これらの未探索問題に対処するために,包括的かつ識別的な中間ブリッジ特徴を抽出する新しいブリッジネットフレームワークを提案する。 私たちの知る限りでは、クロスタスクインタラクションにおける機能参加者の完全性と品質を考慮した最初の作品です。
  論文  参考訳（メタデータ） (2023-12-21T01:30:44Z)
• Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning [9.571499333904969]
  補助的なタスクは、データが不足したり、関心の主タスクが極めて複雑である状況での学習を容易にする。 Detauxと呼ばれる新しいフレームワークを提案する。このフレームワークでは,非関連性のある新たな補助的分類タスクを見つけるために,弱い教師付き逆絡手順が使用される。 切り離し手順は表現レベルで機能し、主タスクに関連する変動を孤立した部分空間に分離する。
  論文  参考訳（メタデータ） (2023-10-13T17:40:39Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Learning Task-oriented Disentangled Representations for Unsupervised Domain Adaptation [165.61511788237485]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインシフト問題に対処することを目的としている。 UDAのための動的タスク指向の非絡合ネットワーク(DTDN)を提案し,非絡合表現をエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2020-07-27T01:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。