論文の概要: ULME: Predictive Coupling for Mutually Reinforcing Embedding and Language Modeling

• arxiv url: http://arxiv.org/abs/2610.30705v1
• Date: Thu, 22 Oct 2026 04:23:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.210914
• Title: ULME: Predictive Coupling for Mutually Reinforcing Embedding and Language Modeling
• Title（参考訳）: ULME: 相互強化型埋め込みと言語モデリングのための予測的結合
• Abstract要約: 因果デコーダのみのLLMへの埋め込みと言語モデリングを予測結合により統合するポストトレーニングフレームワークを提案する。 2つのモデルファミリ全体で、単一のULMEチェックポイントは、最強のオープンソースベースラインに対してMTEBを3.3-4.1ポイント改善する。
• 参考スコア（独自算出の注目度）: 39.402679602352684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text embedding and text generation are two of the most useful capabilities of modern large language models, yet they are typically provided by separate specialized models (an embedder and a generator) trained with incompatible objectives and deployed side by side in retrieval-augmented generation and agent systems. Recent unified embedding-generation models such as GritLM share parameters between the two capabilities, but they either switch attention regimes between modes or optimize embedding and language modeling as parallel objectives that never supervise each other. We argue that these designs are only partially unified: the two capabilities coexist on the same weights, but do not shape each other. We propose ULME, a post-training framework that unifies embedding and language modeling on a causal decoder-only LLM through predictive coupling. ULME inserts a chain of learnable slots between the query and the answer, reads a semantic embedding and a reasoning embedding from two designated slots, and trains three objectives on a shared causal backbone: a contrastive loss anchoring the semantic slot to document representations, a language-modeling loss supervising answer generation, and a stop-gradient predictive loss that aligns the reasoning slot with a pooled summary of the answer, so that generation actively shapes what the embedding encodes. Across two model families (Qwen2.5, Qwen3) and eight scales spanning 0.5B-8B parameters, a single ULME checkpoint improves MTEB by 3.3-4.1 points over the strongest open-source baseline, tightens BRIGHT and AdvBench-IR simultaneously, and remains on par with a generation-only fine-tune on standard accuracy benchmarks (MMLU, GSM8K, MMLU-Pro, HumanEval), demonstrating that genuine unification yields mutually reinforcing rather than merely coexisting capabilities.
• Abstract（参考訳）: テキスト埋め込みとテキスト生成は、現代の大規模言語モデルの最も有用な2つの機能であるが、一般的には、互換性のない目的で訓練された個別のモデル(埋め込み機とジェネレータ)によって提供され、検索強化された生成およびエージェントシステムに並行してデプロイされる。 GritLMのような最近の統合埋め込み世代モデルは、2つの機能の間でパラメータを共有するが、モード間で注意を切り替えるか、相互に監督されない並列目的として埋め込みと言語モデリングを最適化する。 これらの設計は部分的に統一されているだけであり、2つの機能は同一の重みで共存するが、互いに形を成さない。 本稿では,因果デコーダのみのLLMへの埋め込みと言語モデリングを予測結合により統合する後学習フレームワークULMEを提案する。 ULMEは、クエリと回答の間に学習可能なスロットの連鎖を挿入し、セマンティック埋め込みと2つの指定されたスロットから推論埋め込みを読み出し、共有因果バックボーンに3つの目的を訓練する。 2つのモデルファミリ(Qwen2.5, Qwen3)と0.5B-8Bパラメータにまたがる8つのスケールのうち、1つのULMEチェックポイントは、最強のオープンソースベースラインに対してMTEBを3.3-4.1ポイント改善し、BRIGHTとAdvBench-IRを同時に締め付け、標準精度ベンチマーク(MMLU、GSM8K、MMLU-Pro、HumanEval)の世代のみの微調整と同等であり、真の統一は、単に共存する機能ではなく相互に強化されることを示している。

関連論文リスト

• GDLAM: Group-Disentangled Latent Action Model for Highly Disentangled Embodied Pretraining [57.6346031635552]
  GDLAM(Group-Disentangled Latent Action Model)は、Nグループへの構築によってコード化される潜在アクションモデルである。 GDLAMは、Modularity、MIG、DCIを含むラベルなしのアンタングルメントのメトリクスを、強力な非構造化LAMよりも広いマージンで改善する。
  論文  参考訳（メタデータ） (2026-08-10T01:38:21Z)
• Neural Router: Semantic Content Matching for Agentic AI [41.39228253084888]
  大規模言語モデル(LLM)は、エージェントAIのためのコンテンツベースのパブリッシュ/サブスクライブブローカのセマンティックマッチングエンジンとして機能する。 3つの公開データセット上でオフラインのマルチラベル検索として評価され、我々の中心的な貢献は2つのクロスオーバーコストのキャラクタリゼーションである。
  論文  参考訳（メタデータ） (2026-05-25T10:58:53Z)
• Think When Needed: Adaptive Reasoning-Driven Multimodal Embeddings with a Dual-LoRA Architecture [5.59567612070537]
  Think When Needed (TWN) は適応的推論を備えた統合マルチモーダル埋め込みフレームワークである。 これに基づいてアダプティブシンク機構は、自己教師付きルーティングゲートを使用して、入力毎にチェーン・オブ・シークレット(CoT)を生成するかどうかを決定する。 MMEB-V2の78タスクでは、TWNは最先端の埋め込み品質を達成し、既存の生成方法よりもはるかに効率的である。
  論文  参考訳（メタデータ） (2026-05-14T06:41:53Z)
• Relational Probing: LM-to-Graph Adaptation for Financial Prediction [3.7582774908258294]
  言語モデルは、テキスト内の金融エンティティ間の関係を識別するために使用することができる。 本稿では,標準言語モデルヘッドをリレーショナルグラフに置き換えるEmphRelational Probingを提案する。 言語モデルの出力はテキストを超えることができ、ダウンストリームモデルのタスク固有のフォーマットに変換できる。
  論文  参考訳（メタデータ） (2026-04-11T13:43:56Z)
• BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs [11.874112583811593]
  BidirLMは5つのエンコーダのファミリーであり、テキスト、ビジョン、音声表現のベンチマークにおいて、代替品よりも優れている。 我々は、適応を成功させる重要な要因を特定し、しばしば省略される事前マスキングフェーズの役割を強調した。 エンコーダを特殊な因果モデルにマージし、モダリティとドメイン固有の機能をシームレスに転送することで拡張します。
  論文  参考訳（メタデータ） (2026-04-02T13:48:35Z)
• SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards [55.99492656542475]
  textbfSDER (textbfSelf-improving textbfUnified LMMs with textbfDual stextbfElf-textbfRewards) を提案する。
  論文  参考訳（メタデータ） (2025-06-09T17:38:45Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。