論文の概要: CORAG: A Cost-Constrained Retrieval Optimization System for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2411.00744v1
• Date: Fri, 01 Nov 2024 17:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:46:32.674457
• Title: CORAG: A Cost-Constrained Retrieval Optimization System for Retrieval-Augmented Generation
• Title（参考訳）: コスト制約付き検索最適化システムCORAG
• Authors: Ziting Wang, Haitao Yuan, Wei Dong, Gao Cong, Feifei Li,
• Abstract要約: 大規模言語モデル(LLM)は目覚ましい生成能力を示してきたが、しばしば最新の情報にアクセスするのに苦労している。 Retrieval-Augmented Generation (RAG)は、外部データベースからの知識を取り入れることでこの問題に対処する。
• 参考スコア（独自算出の注目度）: 22.918861762038116
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable generation capabilities but often struggle to access up-to-date information, which can lead to hallucinations. Retrieval-Augmented Generation (RAG) addresses this issue by incorporating knowledge from external databases, enabling more accurate and relevant responses. Due to the context window constraints of LLMs, it is impractical to input the entire external database context directly into the model. Instead, only the most relevant information, referred to as chunks, is selectively retrieved. However, current RAG research faces three key challenges. First, existing solutions often select each chunk independently, overlooking potential correlations among them. Second, in practice the utility of chunks is non-monotonic, meaning that adding more chunks can decrease overall utility. Traditional methods emphasize maximizing the number of included chunks, which can inadvertently compromise performance. Third, each type of user query possesses unique characteristics that require tailored handling, an aspect that current approaches do not fully consider. To overcome these challenges, we propose a cost constrained retrieval optimization system CORAG for retrieval-augmented generation. We employ a Monte Carlo Tree Search (MCTS) based policy framework to find optimal chunk combinations sequentially, allowing for a comprehensive consideration of correlations among chunks. Additionally, rather than viewing budget exhaustion as a termination condition, we integrate budget constraints into the optimization of chunk combinations, effectively addressing the non-monotonicity of chunk utility.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、顕著な生成能力を示しているが、しばしば最新の情報にアクセスするのに苦労しており、幻覚を引き起こす可能性がある。 Retrieval-Augmented Generation (RAG)は、外部データベースからの知識を取り入れ、より正確で関連する応答を可能にすることでこの問題に対処する。 LLMのコンテキストウィンドウ制約のため、外部データベースのコンテキスト全体をモデルに直接入力するのは現実的ではない。 代わりに、チャンクと呼ばれる最も関連性の高い情報だけが選択的に検索される。 しかしながら、現在のRAG研究は3つの大きな課題に直面している。 第一に、既存の解はしばしばそれぞれのチャンクを独立に選び、それらの間の潜在的な相関を見越す。 第二に、実際にはチャンクの効用はモノトニックではないため、チャンクの追加によって全体の実用性が低下する可能性がある。 従来のメソッドでは、パフォーマンスを誤って損なう可能性のあるチャンク数の最大化が強調されていた。 第3に、各タイプのユーザクエリには、現在のアプローチが十分に考慮していない側面である、カスタマイズされたハンドリングを必要とするユニークな特性がある。 これらの課題を克服するために,コスト制約付き検索最適化システム CORAG を提案する。 我々はモンテカルロ・ツリー・サーチ(MCTS)ベースのポリシー・フレームワークを用いて最適なチャンクの組み合わせを逐次見つけ、チャンク間の相関関係を網羅的に検討する。 さらに、予算の枯渇を終了条件と見なすのではなく、予算制約をチャンク組合せの最適化に統合し、チャンクユーティリティの非単調性に効果的に対処する。

関連論文リスト

• Optimizing Large Language Models for Dynamic Constraints through Human-in-the-Loop Discriminators [0.0]
  大規模言語モデル(LLM)は、最近、様々な現実世界のアプリケーションにまたがる印象的な機能を実証した。 本稿では,LLMがシステムインターフェースと相互作用し,制約概念を要約し,性能指標を継続的に最適化するフレキシブルなフレームワークを提案する。 我々のフレームワークは、人間の識別器で7.78%のパスレート、LSMベースの識別器で6.11%のパスレートを達成した。
  論文  参考訳（メタデータ） (2024-10-19T17:27:38Z)
• Context-Augmented Code Generation Using Programming Knowledge Graphs [0.0]
  大きな言語モデル(LLM)とコード-LLM(CLLM)は、困難で複雑な問題に対処する際にしばしば困難に直面します。 本稿では,プログラミング知識グラフ(PKG)を利用して,コードの意味的表現と検索を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-09T16:35:41Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization [52.80408805368928]
  本稿では,バッチ取得のための新しいグリーディ型サブセット選択アルゴリズムを提案する。 赤蛍光タンパク質に関する実験により,提案手法は1.69倍少ないクエリでベースライン性能を達成できることが判明した。
  論文  参考訳（メタデータ） (2024-06-21T05:57:08Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• LaSagnA: Language-based Segmentation Assistant for Complex Queries [39.620806493454616]
  視覚のための大規模言語モデル(vLLM)は、バウンディングボックスやマスクを含む知覚結果を生成する。 本研究では,これらの問題の主な原因が,学習クエリの複雑さの不足であることを認めた。 本稿では,提案フォーマットの直接統合による課題を効果的に解決するための3つの新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-12T14:40:45Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Efficient Prompt Optimization Through the Lens of Best Arm Identification [50.56113809171805]
  この作業は、明示的な予算制約の下でプロンプト選択を効率的に行うための、原則化されたフレームワークであるTRIPLEを提供する。 マルチアームバンディット(MAB)における即時最適化と固定予算ベストアーム識別(BAI-FB)の間に確立された新しい接続上に構築されている。
  論文  参考訳（メタデータ） (2024-02-15T05:31:13Z)
• JoinGym: An Efficient Query Optimization Environment for Reinforcement Learning [58.71541261221863]
  結合順序選択(JOS)は、クエリの実行コストを最小化するために結合操作を順序付けする問題である。 木質強化学習(RL)のためのクエリ最適化環境JoinGymを提案する。 JoinGymは内部で、事前計算されたデータセットから中間結果の濃度を調べることで、クエリプランのコストをシミュレートする。
  論文  参考訳（メタデータ） (2023-07-21T17:00:06Z)
• Learning Robust Scheduling with Search and Attention [6.217548079545464]
  物理層リソースをチャネル品質、バッファサイズ、要求および制約に基づいてユーザに割り当てることは、無線リソースの管理における中心的な最適化問題の1つである。 MU-MIMOスケジューリングでは、スケジューラが複数のユーザを同じ時間周波数の物理リソースに割り当てることができる。 本稿では,MU-MIMOスケジューリング問題を木構造問題として扱うとともに,AlphaGo Zeroの最近の成功から借用して,最高の実行ソリューションを探す可能性について検討する。
  論文  参考訳（メタデータ） (2021-11-15T20:46:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。