論文の概要: Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs

• arxiv url: http://arxiv.org/abs/2410.15438v1
• Date: Sun, 20 Oct 2024 16:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:12:46.296998
• Title: Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs
• Title（参考訳）: 検索型 MoE ベース LLM におけるコアエキスパートの展開とコンサルティング
• Authors: Xin Zhou, Ping Nie, Yiwen Guo, Haojie Wei, Zhanqiu Zhang, Pasquale Minervini, Ruotian Ma, Tao Gui, Qi Zhang, Xuanjing Huang,
• Abstract要約: RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。 実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。 本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
• 参考スコア（独自算出の注目度）: 64.9693406713216
• License:
• Abstract: Retrieval-Augmented Generation (RAG) significantly improved the ability of Large Language Models (LLMs) to solve knowledge-intensive tasks. While existing research seeks to enhance RAG performance by retrieving higher-quality documents or designing RAG-specific LLMs, the internal mechanisms within LLMs that contribute to the effectiveness of RAG systems remain underexplored. In this paper, we aim to investigate these internal mechanisms within the popular Mixture-of-Expert (MoE)-based LLMs and demonstrate how to improve RAG by examining expert activations in these LLMs. Our controlled experiments reveal that several core groups of experts are primarily responsible for RAG-related behaviors. The activation of these core experts can signify the model's inclination towards external/internal knowledge and adjust its behavior. For instance, we identify core experts that can (1) indicate the sufficiency of the model's internal knowledge, (2) assess the quality of retrieved documents, and (3) enhance the model's ability to utilize context. Based on these findings, we propose several strategies to enhance RAG's efficiency and effectiveness through expert activation. Experimental results across various datasets and MoE-based LLMs show the effectiveness of our method.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLMs) の知識集約的なタスクを解く能力を大幅に改善した。 既存の研究は、高品質な文書を検索したり、RAG固有のLCMを設計したりすることでRAGの性能向上を図っているが、RAGシステムの有効性に寄与する内部メカニズムは未検討のままである。 本稿では,Mixture-of-Expert (MoE) ベースの LLM の内部機構について検討し,これらの LLM のエキスパートアクティベーションを検証してRAG を改善する方法について述べる。 制御実験の結果,複数の専門家のコアグループがRAG関連行動に主に関与していることが判明した。 これらのコアエキスパートの活性化は、モデルの外的/内的知識への傾きを示し、その振る舞いを調整することができる。 例えば,(1)モデルの内部知識が十分であることを示すコアエキスパートを特定し,(2)検索した文書の品質を評価するとともに,(3)モデルがコンテキストを活用できる能力を高める。 これらの知見に基づき,専門家の活性化を通じてRAGの効率と有効性を高めるためのいくつかの戦略を提案する。 各種データセットおよびMoEに基づくLCMを用いた実験結果から,本手法の有効性が示された。

関連論文リスト

• Optimizing Knowledge Integration in Retrieval-Augmented Generation with Self-Selection [72.92366526004464]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) がより正確で信頼性の高い応答を生成するのに有効であることが証明されている。 本稿では,自己選択型RAGフレームワークを提案する。このフレームワークでは,内部パラメトリック知識のみで生成されたペアの応答からLLMを選択できる。
  論文  参考訳（メタデータ） (2025-02-10T04:29:36Z)
• Quality Assurance for LLM-RAG Systems: Empirical Insights from Tourism Application Testing [0.0]
  本稿では,Large Language Model (LLM) システムの品質特性を検索型拡張生成(RAG)で検証し,評価するための包括的フレームワークを提案する。 機能的正当性と機能的外特性の両方を評価する上で,テスト手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-09T05:53:03Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective [48.40768048080928]
  Retrieval-Augmented Generation (RAG) システムは,Large Language Models (LLM) の性能向上を約束している。 本研究の目的は,RAGシステムにおける知識チェックに関する体系的研究を提供することである。
  論文  参考訳（メタデータ） (2024-11-21T20:39:13Z)
• Evaluating Self-Generated Documents for Enhancing Retrieval-Augmented Generation with Large Language Models [39.243030042003646]
  本稿では,自己文書の総合的有効性について検討し,RAGパフォーマンスへの貢献を形作る重要な要因を同定する。 これらの知見に基づいて,体系的機能言語学に基づく分類学を開発し,様々なセルフドキュメンテーションカテゴリーの影響を比較する。 その結果,どのタイプのセルフドキュメンテーションが最も有用かを明らかにし,それを活用するための実践的ガイドラインを提供した。
  論文  参考訳（メタデータ） (2024-10-17T03:38:54Z)
• RAG-Modulo: Solving Sequential Tasks using Experience, Critics, and Language Models [5.0741409008225755]
  大規模言語モデル(LLM)は、ロボットの課題を解決するための有望なツールとして登場した。 既存のLSMベースのエージェントは、過去の相互作用を維持および学習する能力に欠ける。 RAG-Modulo は,過去のインタラクションを記憶した LLM ベースのエージェントを強化し,エージェントの判断を評価するための批判を取り入れたフレームワークである。
  論文  参考訳（メタデータ） (2024-09-18T20:03:32Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach [50.125704610228254]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示すだけでなく、知性の火花も示している。 近年の研究では、人間の試験における能力の評価に焦点が当てられ、異なる領域における彼らの印象的な能力を明らかにしている。 ブルーム分類に基づく人体検査データセットであるMoocRadarを用いて評価を行った。
  論文  参考訳（メタデータ） (2023-10-12T09:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。