論文の概要: HEAL: Hierarchical Embedding Alignment Loss for Improved Retrieval and Representation Learning

• arxiv url: http://arxiv.org/abs/2412.04661v1
• Date: Thu, 05 Dec 2024 23:10:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:53.357535
• Title: HEAL: Hierarchical Embedding Alignment Loss for Improved Retrieval and Representation Learning
• Title（参考訳）: HEAL:検索と表現の学習を改善するための階層的埋め込みアライメント損失
• Authors: Manish Bhattarai, Ryan Barron, Maksim Eren, Minh Vu, Vesselin Grantcharov, Ismael Boureima, Valentin Stanev, Cynthia Matuszek, Vladimir Valtchinov, Kim Rasmussen, Boian Alexandrov,
• Abstract要約: RAGは、外部文書検索を統合して、ドメイン固有のまたは最新の知識を提供することで、LLM(Large Language Models)を強化する。 RAGの有効性は、取得した文書の関連性に依存し、ドメインの専門コンテンツと埋め込みのセマンティックアライメントに影響される。 本稿では,階層的ファジィクラスタリングと行列分解を併用した新しい手法である階層的エンベディング・アライメント・ロス(HEAL)を紹介する。
• 参考スコア（独自算出の注目度）: 6.2751089721877955
• License:
• Abstract: Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by integrating external document retrieval to provide domain-specific or up-to-date knowledge. The effectiveness of RAG depends on the relevance of retrieved documents, which is influenced by the semantic alignment of embeddings with the domain's specialized content. Although full fine-tuning can align language models to specific domains, it is computationally intensive and demands substantial data. This paper introduces Hierarchical Embedding Alignment Loss (HEAL), a novel method that leverages hierarchical fuzzy clustering with matrix factorization within contrastive learning to efficiently align LLM embeddings with domain-specific content. HEAL computes level/depth-wise contrastive losses and incorporates hierarchical penalties to align embeddings with the underlying relationships in label hierarchies. This approach enhances retrieval relevance and document classification, effectively reducing hallucinations in LLM outputs. In our experiments, we benchmark and evaluate HEAL across diverse domains, including Healthcare, Material Science, Cyber-security, and Applied Maths.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部文書検索を統合して、ドメイン固有のまたは最新の知識を提供することで、Large Language Models (LLM)を強化する。 RAGの有効性は、取得した文書の関連性に依存し、ドメインの専門コンテンツと埋め込みのセマンティックアライメントの影響を受けます。 完全な微調整は言語モデルを特定のドメインに合わせることができるが、計算集約的で、かなりのデータを必要とする。 本稿では,階層的ファジィクラスタリングと行列分解を対比学習で活用し,LLM埋め込みをドメイン固有のコンテンツと効率的に整合させる手法である階層的埋め込みアライメント損失(HEAL)を提案する。 HEALはレベル/奥行きの対照的な損失を計算し、階層的な罰則を取り入れ、ラベル階層の基盤となる関係と埋め込みを整合させる。 このアプローチは、検索関連性と文書分類を強化し、LLM出力の幻覚を効果的に低減する。 実験では、ヘルスケア、マテリアルサイエンス、サイバーセキュリティ、応用数学など、さまざまな分野のHEALをベンチマークし、評価した。

関連論文リスト

• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Graph-Convolutional Networks: Named Entity Recognition and Large Language Model Embedding in Document Clustering [9.929301228994095]
  本稿では、文書クラスタリングのためのグラフベースのフレームワークに、名前付きエンティティ認識(NER)とLarge Language Models(LLM)を組み込む新しいアプローチを提案する。 グラフ畳み込みネットワーク(GCN)を用いて最適化された名前付きエンティティ類似性によって重み付けされた文書とエッジのノードでグラフを構築する。 実験結果から,本手法はクラスタリングにおける従来の共起型手法,特に名前付きエンティティに富んだ文書よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-12-19T14:03:22Z)
• OG-RAG: Ontology-Grounded Retrieval-Augmented Generation For Large Language Models [5.967549123296788]
  本稿では,ドメイン固有コンテキストにおけるプロセスのアンカー化による応答向上のためのオントロジー・グラウンド検索生成手法であるOG-RAGを提案する。 OG-RAGは、事実に基づく推論が不可欠である領域に適用される。
  論文  参考訳（メタデータ） (2024-12-12T01:21:03Z)
• Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts [1.565361244756411]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて重要な役割を果たす。 本研究では,ロシアのソーシャルメディアにおけるグリーンプラクティスの言及を検出するために,プロンプトベースのデータ拡張を適用した。
  論文  参考訳（メタデータ） (2024-11-22T12:37:41Z)
• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• Contextual Categorization Enhancement through LLMs Latent-Space [0.31263095816232184]
  本稿では,ウィキペディアデータセットのテキストから意味情報を抽出するトランスフォーマーモデルを提案する。 次に、これらのエンコーディングに基づいて異なるアプローチを検討し、カテゴリのセマンティックアイデンティティを評価し、拡張する。
  論文  参考訳（メタデータ） (2024-04-25T09:20:51Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text Classification [19.12354692458442]
  階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。 動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:44:42Z)
• Advancing Incremental Few-shot Semantic Segmentation via Semantic-guided Relation Alignment and Adaptation [98.51938442785179]
  増分的な数ショットセマンティックセマンティックセマンティクスは、セマンティクスセマンティクスモデルを新しいクラスに漸進的に拡張することを目的としている。 このタスクは、データ不均衡のため、ベースクラスと新しいクラスの間で深刻な意味認識の問題に直面します。 本稿では,従来の意味情報のガイダンスを完全に考慮した意味誘導型関係調整適応法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:40:52Z)
• Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework [75.79736930414715]
  本稿では,すべての利用可能なラベルを活用でき,クラス間の階層的関係を維持できる階層型多言語表現学習フレームワークを提案する。 比較損失に階層的ペナルティを併用し,その階層的制約を強制する。
  論文  参考訳（メタデータ） (2022-04-27T21:41:44Z)
• Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation [56.694330303488435]
  マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。 簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-07-17T07:52:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。