論文の概要: Chain-of-Rank: Enhancing Large Language Models for Domain-Specific RAG in Edge Device

• arxiv url: http://arxiv.org/abs/2502.15134v1
• Date: Fri, 21 Feb 2025 01:28:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:13.313489
• Title: Chain-of-Rank: Enhancing Large Language Models for Domain-Specific RAG in Edge Device
• Title（参考訳）: Chain-of-Rank:エッジデバイスにおけるドメイン特化RAGのための大規模言語モデルの強化
• Authors: Juntae Lee, Jihwan Bang, Seunghan Yang, Kyuhong Shim, Simyung Chang,
• Abstract要約: ランクのチェーン(CoR)は、入力された外部文書の信頼性の単純なランキングに焦点を移す。 我々は、ベンチマークで最先端のSOTA(State-of-the-art)結果を取得し、その有効性を分析する。
• 参考スコア（独自算出の注目度）: 20.666893617591136
• License:
• Abstract: Retrieval-augmented generation (RAG) with large language models (LLMs) is especially valuable in specialized domains, where precision is critical. To more specialize the LLMs into a target domain, domain-specific RAG has recently been developed by allowing the LLM to access the target domain early via finetuning. The domain-specific RAG makes more sense in resource-constrained environments like edge devices, as they should perform a specific task (e.g. personalization) reliably using only small-scale LLMs. While the domain-specific RAG is well-aligned with edge devices in this respect, it often relies on widely-used reasoning techniques like chain-of-thought (CoT). The reasoning step is useful to understand the given external knowledge, and yet it is computationally expensive and difficult for small-scale LLMs to learn it. Tackling this, we propose the Chain of Rank (CoR) which shifts the focus from intricate lengthy reasoning to simple ranking of the reliability of input external documents. Then, CoR reduces computational complexity while maintaining high accuracy, making it particularly suited for resource-constrained environments. We attain the state-of-the-art (SOTA) results in benchmarks, and analyze its efficacy.
• Abstract（参考訳）: 大規模言語モデル(LLM)を持つ検索拡張世代(RAG)は、特に精度が重要な特殊領域において有用である。 LLMをターゲットドメインにより専門化するために、LLMをファインタニングにより早期にターゲットドメインにアクセスできるようにして、ドメイン固有のRAGを開発した。 ドメイン固有のRAGは、エッジデバイスのようなリソース制約のある環境でより理にかなっている。 ドメイン固有のRAGは、この点においてエッジデバイスとよく一致しているが、しばしばチェーン・オブ・シント(CoT)のような広く使われている推論技術に依存している。 推論ステップは与えられた外部知識を理解するのに有用であるが、計算コストが高く、小規模のLLMでは学習が困難である。 これに対応するために、複雑な長大な推論から入力された外部文書の信頼性の単純なランキングへと焦点をシフトするランクの連鎖(CoR)を提案する。 次に、CoRは高い精度を維持しながら計算複雑性を低減し、特に資源制約のある環境に適している。 我々は、ベンチマークで最先端のSOTA(State-of-the-art)結果を取得し、その有効性を分析する。

関連論文リスト

• RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
  大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。 Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。 我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T04:56:53Z)
• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs - No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文を対象とした2,326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• OG-RAG: Ontology-Grounded Retrieval-Augmented Generation For Large Language Models [5.967549123296788]
  本稿では,ドメイン固有コンテキストにおけるプロセスのアンカー化による応答向上のためのオントロジー・グラウンド検索生成手法であるOG-RAGを提案する。 OG-RAGは、事実に基づく推論が不可欠である領域に適用される。
  論文  参考訳（メタデータ） (2024-12-12T01:21:03Z)
• BANER: Boundary-Aware LLMs for Few-Shot Named Entity Recognition [12.57768435856206]
  本稿では,Few-Shot Named Entity Recognition のための境界認識 LLM という手法を提案する。 一般化されたエンティティスパンに対するエンティティ境界を知覚するLLMの能力を高めるために,境界対応のコントラスト学習戦略を導入する。 ターゲットドメインからソースドメインに情報をアライメントするためにLoRAHubを使用し、適応型クロスドメイン分類機能を強化する。
  論文  参考訳（メタデータ） (2024-12-03T07:51:14Z)
• Domain-Specific Retrieval-Augmented Generation Using Vector Stores, Knowledge Graphs, and Tensor Factorization [7.522493227357079]
  大規模言語モデル(LLM)は大規模コーパスで事前訓練されている。 LLMは幻覚、知識の遮断、知識の帰属の欠如に悩まされる。 SMART-SLICはドメイン固有のLLMフレームワークである。
  論文  参考訳（メタデータ） (2024-10-03T17:40:55Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Learning to Discover Knowledge: A Weakly-Supervised Partial Domain Adaptation Approach [20.899013563493202]
  ドメイン適応は、リッチアノテーションでソースドメインからの知識を活用することで、魅力的なパフォーマンスを示している。 特定の目標タスクに対して、関連するおよび高品質なソースドメインを収集するのは煩雑である。 本稿では、自己ペースト転送分類器学習(SP-TCL)と呼ばれる、単純で効果的なドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:54:07Z)
• R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
  大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:49Z)
• BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
  大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。 従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
  論文  参考訳（メタデータ） (2024-03-27T08:57:21Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。