論文の概要: BEE-RAG: Balanced Entropy Engineering for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2508.05100v1
• Date: Thu, 07 Aug 2025 07:37:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 21:11:55.667217
• Title: BEE-RAG: Balanced Entropy Engineering for Retrieval-Augmented Generation
• Title（参考訳）: BEE-RAG:Retrieval-Augmented Generationのための平衡エントロピーエンジニアリング
• Authors: Yuhao Wang, Ruiyang Ren, Yucheng Wang, Jing Liu, Wayne Xin Zhao, Hua Wu, Haifeng Wang,
• Abstract要約: 本稿では,RAGシステムの適応性を改善するために,バランスの取れたエントロピーエンジニアリングRAG(BEE-RAG)フレームワークを提案する。 BEE-RAGは、注意感度をコンテキスト長から分離し、安定したエントロピーレベルを確保する。 これに基づいて,マルチインパタンス推定のためのゼロショット推論戦略とパラメータ効率適応微調整機構を導入する。
• 参考スコア（独自算出の注目度）: 77.10390725623125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid advancement of large language models (LLMs), retrieval-augmented generation (RAG) has emerged as a critical approach to supplement the inherent knowledge limitations of LLMs. However, due to the typically large volume of retrieved information, RAG tends to operate with long context lengths. From the perspective of entropy engineering, we identify unconstrained entropy growth and attention dilution due to long retrieval context as significant factors affecting RAG performance. In this paper, we propose the balanced entropy-engineered RAG (BEE-RAG) framework, which improves the adaptability of RAG systems to varying context lengths through the principle of entropy invariance. By leveraging balanced context entropy to reformulate attention dynamics, BEE-RAG separates attention sensitivity from context length, ensuring a stable entropy level. Building upon this, we introduce a zero-shot inference strategy for multi-importance estimation and a parameter-efficient adaptive fine-tuning mechanism to obtain the optimal balancing factor for different settings. Extensive experiments across multiple RAG tasks demonstrate the effectiveness of BEE-RAG.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩に伴い、LLMの固有の知識制限を補完する重要なアプローチとして、検索強化世代(RAG)が出現している。 しかしながら、一般的に検索される情報の量が多いため、RAGは長いコンテキスト長で運用される傾向にある。 エントロピー工学の観点から、長い検索コンテキストによる非拘束エントロピー成長と注意の希釈をRAG性能に影響を及ぼす重要な要因として同定する。 本稿では, 平衡エントロピー工学的RAG(BEE-RAG)フレームワークを提案する。 BEE-RAGは、バランスの取れたコンテキストエントロピーを利用して注意力学を再構成することにより、注意感度をコンテキスト長から分離し、安定したエントロピーレベルを確保する。 これに基づいて,多値推定のためのゼロショット推論戦略とパラメータ効率適応微調整機構を導入し,異なる設定に最適なバランス係数を求める。 複数のRAGタスクにわたる大規模な実験は、BEE-RAGの有効性を示す。

関連論文リスト

• Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs [69.10441885629787]
  Retrieval-Augmented Generation (RAG) は、外部知識を注入することによって、Large Language Models (LLM) の事実性を高める。 逆に、純粋に推論指向のアプローチは、しばしば幻覚的あるいは誤った事実を必要とする。 この調査は両鎖を統一的推論-検索の観点から合成する。
  論文  参考訳（メタデータ） (2025-07-13T03:29:41Z)
• RADIANT: Retrieval AugmenteD entIty-context AligNmenT -- Introducing RAG-ability and Entity-Context Divergence [5.066415370344766]
  Retrieval-Augmented Generation (RAG) は、外部知識を生成プロセスに統合することにより、事実の精度を高める技術である。 本稿では,得られた証拠と生成されたコンテンツとの相互作用を最適化するために,RAGとアライメントを組み合わせたフレームワークであるRadiantを紹介する。
  論文  参考訳（メタデータ） (2025-06-28T21:40:35Z)
• Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [32.30660197797758]
  我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。 従来のサロゲート法に比べて精度が向上し,計算効率も向上した。 メカニスティック解析により、コンテキスト属性に責任を持つ特定の注意頭と多層パーセプトロン(MLP)層が明らかになった。
  論文  参考訳（メタデータ） (2025-05-22T09:04:03Z)
• RAGO: Systematic Performance Optimization for Retrieval-Augmented Generation Serving [9.962031642362813]
  Retrieval-augmented Generation (RAG) は、信頼性LLMサービスに対する一般的なアプローチとして現れつつある。 RAGは、幅広いRAGアルゴリズムをキャプチャする構造化された抽象化である。 RAGOは、効率的なRAGサービスのためのシステム最適化フレームワークである。
  論文  参考訳（メタデータ） (2025-03-18T18:58:13Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• UncertaintyRAG: Span-Level Uncertainty Enhanced Long-Context Modeling for Retrieval-Augmented Generation [93.38604803625294]
  IncertaintyRAG, a novel approach for long-context Retrieval-Augmented Generation (RAG)について紹介する。 我々は、SNR(Signal-to-Noise Ratio)ベースのスパン不確実性を用いて、テキストチャンク間の類似性を推定する。 不確かさRAGはLLaMA-2-7Bでベースラインを2.03%上回り、最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-03T17:39:38Z)
• Introducing a new hyper-parameter for RAG: Context Window Utilization [0.0]
  RAGシステムは、外部知識ベースから取得した関連情報を組み込むことで、生成モデルを強化する。 検索および処理されたテキストチャンクのサイズは、RAG性能に影響を与える重要な要因である。 本研究の目的は,回答生成品質を最大化する最適チャンクサイズを特定することである。
  論文  参考訳（メタデータ） (2024-07-29T08:38:14Z)
• RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。 RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• Gated Recurrent Neural Networks with Weighted Time-Delay Feedback [55.596897987498174]
  本稿では,重み付き時間遅延フィードバック機構を備えたゲートリカレントユニット(GRU)を導入し,時系列データの長期依存性をモデル化する手法を提案する。 提案したモデルである $tau$-GRU は、繰り返し単位の連続時間定式化の離散版であり、力学は遅延微分方程式(DDE)によって制御される。
  論文  参考訳（メタデータ） (2022-12-01T02:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。