論文の概要: CoDiEmb: A Collaborative yet Distinct Framework for Unified Representation Learning in Information Retrieval and Semantic Textual Similarity

• arxiv url: http://arxiv.org/abs/2508.11442v1
• Date: Fri, 15 Aug 2025 12:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.953795
• Title: CoDiEmb: A Collaborative yet Distinct Framework for Unified Representation Learning in Information Retrieval and Semantic Textual Similarity
• Title（参考訳）: CoDiEmb:情報検索と意味的テクスチャ類似性における統一表現学習のための協調的かつ識別的なフレームワーク
• Authors: Bowen Zhang, Zixin Song, Chunquan Chen, Qian-Wen Zhang, Di Yin, Xing Sun,
• Abstract要約: 統合されたテキスト埋め込みをトレーニングするための統合フレームワークであるCoDiEmbを紹介する。 CoDiEmbは、効果的な共同最適化のための3つの重要なイノベーションを統合している。 我々の結果と分析は、このフレームワークがクロスタスクトレードオフを緩和していることを示している。
• 参考スコア（独自算出の注目度）: 23.25128674424385
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Learning unified text embeddings that excel across diverse downstream tasks is a central goal in representation learning, yet negative transfer remains a persistent obstacle. This challenge is particularly pronounced when jointly training a single encoder for Information Retrieval (IR) and Semantic Textual Similarity (STS), two essential but fundamentally disparate tasks for which naive co-training typically yields steep performance trade-offs. We argue that resolving this conflict requires systematically decoupling task-specific learning signals throughout the training pipeline. To this end, we introduce CoDiEmb, a unified framework that reconciles the divergent requirements of IR and STS in a collaborative yet distinct manner. CoDiEmb integrates three key innovations for effective joint optimization: (1) Task-specialized objectives paired with a dynamic sampler that forms single-task batches and balances per-task updates, thereby preventing gradient interference. For IR, we employ a contrastive loss with multiple positives and hard negatives, augmented by cross-device sampling. For STS, we adopt order-aware objectives that directly optimize correlation and ranking consistency. (2) A delta-guided model fusion strategy that computes fine-grained merging weights for checkpoints by analyzing each parameter's deviation from its pre-trained initialization, proving more effective than traditional Model Soups. (3) An efficient, single-stage training pipeline that is simple to implement and converges stably. Extensive experiments on 15 standard IR and STS benchmarks across three base encoders validate CoDiEmb. Our results and analysis demonstrate that the framework not only mitigates cross-task trade-offs but also measurably improves the geometric properties of the embedding space.
• Abstract（参考訳）: 多様な下流タスクにまたがる統一されたテキスト埋め込みを学習することは、表現学習における中心的な目標である。 この課題は、情報検索(IR)とセマンティックテキスト類似(STS)のための単一のエンコーダを共同で訓練する際、特に顕著である。 この競合を解決するには、トレーニングパイプライン全体を通して、タスク固有の学習信号を体系的に分離する必要がある、と私たちは主張する。 この目的のために我々は,IR と STS の分岐要求を協調的かつ明確な方法で調整する統合フレームワークである CoDiEmb を紹介した。 CoDiEmbは、効果的な共同最適化のための3つの重要なイノベーションを統合している。 1) タスク特化対象と、シングルタスクのバッチを形成し、タスク毎のアップデートのバランスをとる動的サンプリング器をペアにすることで、勾配干渉を防止する。 IRでは、デバイス間サンプリングによって強化された多重陽性と強陰性で対照的な損失を生かしている。 STSでは、相関とランキングの一貫性を直接最適化するオーダーアウェアの目的を採用しています。 2) デルタ誘導型モデル融合戦略は,各パラメータの偏差を予め訓練した初期化から解析し,従来のモデルスープよりも効果的であることを示した。 (3) 実装が簡単で安定して収束する、効率的なシングルステージトレーニングパイプライン。 3つのベースエンコーダにまたがる15の標準IRとSTSベンチマークの大規模な実験は、CoDiEmbを検証する。 このフレームワークは, クロスタスクトレードオフを緩和するだけでなく, 埋め込み空間の幾何学的特性を測りやすく改善することを示した。

関連論文リスト

• Serial Over Parallel: Learning Continual Unification for Multi-Modal Visual Object Tracking and Benchmarking [35.3869415482475]
  既存のプラクティスは、すべてのデータセンサータイプを単一のトレーニング手順で混合し、データ中心の観点から並列パラダイムを構築する。 すべての種類のデータが共存する統一ベンチマークが存在しないため、分離されたベンチマークの評価が強制され、トレーニングとテストの間にテキスト整合性が生じる。 UniBench300と呼ばれる統一ベンチマークは、複数のタスクデータを組み込んで、推論を3つから1つに減らし、時間の消費を27%削減することで、一貫性を橋渡しするために導入された。
  論文  参考訳（メタデータ） (2025-08-14T13:54:04Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs [73.74375912785689]
  本稿では,音声認識システムのための統合学習戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRの性能が向上することを示す。 また,非ラベル標本をより効果的に活用するために,強欲な擬似ラベリング手法を導入する。
  論文  参考訳（メタデータ） (2024-11-04T16:46:53Z)
• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。 これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
  画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。 アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。 ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
  論文  参考訳（メタデータ） (2024-04-28T08:44:28Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Robust Learning Through Cross-Task Consistency [92.42534246652062]
  クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
  論文  参考訳（メタデータ） (2020-06-07T09:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。