Fugu-MT 論文翻訳(概要): Learn Before Represent: Bridging Generative and Contrastive Learning for Domain-Specific LLM Embeddings

論文の概要: Learn Before Represent: Bridging Generative and Contrastive Learning for Domain-Specific LLM Embeddings

arxiv url: http://arxiv.org/abs/2601.11124v1
Date: Fri, 16 Jan 2026 09:35:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-19 20:21:50.432404
Title: Learn Before Represent: Bridging Generative and Contrastive Learning for Domain-Specific LLM Embeddings
Title（参考訳）: 表現に先立って学ぶ:ドメイン特化LDM埋め込みのためのブリッジ生成とコントラスト学習
Authors: Xiaoyu Liang, Yuchen Peng, Jiale Luo, Wenhao Wang, Haoji Hu, Xincheng Zhou,
Abstract要約: 大言語モデル (LLMs) は、一般的な表現学習において、対照的な学習によって適応されるが、化学や法のような垂直領域では苦労する。 LLM+CL'のパラダイムはセマンティックアライメントに重点を置いているが、知識獲得はできない。本稿では,垂直領域における高精度でロバストな表現を構築するための新しい2段階フレームワークであるLearning Before Representを提案する。
参考スコア（独自算出の注目度）: 14.859728745469354
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) adapted via contrastive learning excel in general representation learning but struggle in vertical domains like chemistry and law, primarily due to a lack of domain-specific knowledge. This work identifies a core bottleneck: the prevailing ``LLM+CL'' paradigm focuses on semantic alignment but cannot perform knowledge acquisition, leading to failures on specialized terminology. To bridge this gap, we propose Learn Before Represent (LBR), a novel two-stage framework. LBR first injects domain knowledge via an Information Bottleneck-Constrained Generative Learning stage, preserving the LLM's causal attention to maximize knowledge acquisition while compressing semantics. It then performs Generative-Refined Contrastive Learning on the compressed representations for alignment. This approach maintains architectural consistency and resolves the objective conflict between generative and contrastive learning. Extensive experiments on medical, chemistry, and code retrieval tasks show that LBR significantly outperforms strong baselines. Our work establishes a new paradigm for building accurate and robust representations in vertical domains.
Abstract（参考訳）: 大規模言語モデル(LLM)は、一般的な表現学習において、対照的な学習によって適応されるが、主にドメイン固有の知識の欠如により、化学や法則のような垂直領域で苦労する。一般的な ``LLM+CL'' パラダイムはセマンティックアライメントに重点を置いているが、知識獲得は行えないため、専門用語の失敗につながっている。このギャップを埋めるために,新しい2段階フレームワークであるLearning Before Represent (LBR)を提案する。 LBRはまずInformation Bottleneck-Constrained Generative Learningの段階を通じてドメイン知識を注入し、LLMの因果的注意を保ち、セマンティクスを圧縮しながら知識獲得を最大化する。その後、アライメントのために圧縮された表現に対して生成的コントラスト学習を実行する。このアプローチはアーキテクチャの一貫性を維持し、生成的学習と対照的学習の間の客観的な対立を解決する。医学、化学、およびコード検索タスクに関する大規模な実験は、LBRが強いベースラインを著しく上回っていることを示している。我々の研究は、垂直領域における正確で堅牢な表現を構築するための新しいパラダイムを確立します。

関連論文リスト

Language as an Anchor: Preserving Relative Visual Geometry for Domain Incremental Learning [8.952803050083203]
ドメインインクリメンタルラーニングの鍵となる課題は、分散の変化の下で継続的に学習することだ。テキストベースの参照アンカーによって駆動される相対的アライメントと直接特徴アライメントを置き換える新しいDILフレームワークであるLAVAを提案する。標準的なDILベンチマークの実験では、LAVAは最先端技術よりも大幅なパフォーマンス向上を実現している。
論文参考訳（メタデータ） (2025-11-18T12:06:55Z)
GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
論文参考訳（メタデータ） (2025-09-20T02:38:00Z)
Are Unified Vision-Language Models Necessary: Generalization Across Understanding and Generation [50.22361866757033]
統合視覚言語モデル(VLM)は、視覚的理解と生成機能の両方を統合する。本稿では,統一VLMにおける理解・生成タスクの一般化を体系的に検討する。
論文参考訳（メタデータ） (2025-05-29T03:40:21Z)
OntoTune: Ontology-Driven Self-training for Aligning Large Language Models [36.707858872631945]
大規模コーパスの訓練はしばしば、大規模言語モデルのドメイン知識を効果的に組織化するのに失敗する。そこで我々は,オントトゥン(OntoTune)というオントロジー駆動の自己学習フレームワークを提案する。本研究は,オントトゥンの有効性を評価するために,医学領域で実施する。
論文参考訳（メタデータ） (2025-02-08T07:38:45Z)
BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
論文参考訳（メタデータ） (2024-03-27T08:57:21Z)
The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文参考訳（メタデータ） (2024-03-25T19:07:32Z)
Fusing Domain-Specific Content from Large Language Models into Knowledge Graphs for Enhanced Zero Shot Object State Classification [1.1161827123148225]
本研究では,Large Language Models (LLMs) のドメイン固有情報の生成と提供における可能性について検討する。これを実現するために、LLMは知識グラフと事前訓練されたセマンティックベクターを利用するパイプラインに統合される。その結果,LLMをベースとした組込みと汎用的な事前学習型組込みを組み合わせることで,大幅な性能向上が期待できることがわかった。
論文参考訳（メタデータ） (2024-03-18T18:08:44Z)
Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文参考訳（メタデータ） (2023-11-16T07:09:38Z)
Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
論文参考訳（メタデータ） (2022-03-16T11:06:50Z)
Domain-oriented Language Pre-training with Adaptive Hybrid Masking and Optimal Transport Alignment [43.874781718934486]
我々は、異なるアプリケーションドメインに対して事前訓練された言語モデルを適用するための一般的なドメイン指向のアプローチを提供する。フレーズ知識を効果的に保存するために,補助訓練ツールとしてドメインフレーズプールを構築した。我々はクロスエンティティアライメントを導入し、エンティティアライメントを弱い監督力として活用し、事前訓練されたモデルのセマンティックラーニングを強化する。
論文参考訳（メタデータ） (2021-12-01T15:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。