論文の概要: Research on the Online Update Method for Retrieval-Augmented Generation (RAG) Model with Incremental Learning

• arxiv url: http://arxiv.org/abs/2501.07063v1
• Date: Mon, 13 Jan 2025 05:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:26:57.509710
• Title: Research on the Online Update Method for Retrieval-Augmented Generation (RAG) Model with Incremental Learning
• Title（参考訳）: インクリメンタル学習を伴う検索拡張生成(RAG)モデルのオンライン更新手法に関する研究
• Authors: Yuxin Fan, Yuxiang Wang, Lipeng Liu, Xirui Tang, Na Sun, Zidong Yu,
• Abstract要約: 提案手法は,知識保持と推論精度の観点から,既存の主流比較モデルよりも優れている。 実験の結果,提案手法は知識保持と推論精度の観点から,既存の主流比較モデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 13.076087281398813
• License:
• Abstract: In the contemporary context of rapid advancements in information technology and the exponential growth of data volume, language models are confronted with significant challenges in effectively navigating the dynamic and ever-evolving information landscape to update and adapt to novel knowledge in real time. In this work, an online update method is proposed, which is based on the existing Retrieval Enhanced Generation (RAG) model with multiple innovation mechanisms. Firstly, the dynamic memory is used to capture the emerging data samples, and then gradually integrate them into the core model through a tunable knowledge distillation strategy. At the same time, hierarchical indexing and multi-layer gating mechanism are introduced into the retrieval module to ensure that the retrieved content is more targeted and accurate. Finally, a multi-stage network structure is established for different types of inputs in the generation stage, and cross-attention matching and screening are carried out on the intermediate representations of each stage to ensure the effective integration and iterative update of new and old knowledge. Experimental results show that the proposed method is better than the existing mainstream comparison models in terms of knowledge retention and inference accuracy.
• Abstract（参考訳）: 情報技術の急速な進歩とデータボリュームの指数的成長の現代的文脈において、言語モデルは、動的かつ絶え間なく進化する情報ランドスケープを効果的にナビゲートし、新しい知識をリアルタイムで更新し適応する上で、重大な課題に直面している。 本研究では、複数の革新メカニズムを持つ既存の検索拡張生成(RAG)モデルに基づくオンライン更新手法を提案する。 まず、動的メモリを用いて新しいデータサンプルをキャプチャし、学習可能な知識蒸留戦略によってコアモデルに徐々に統合する。 同時に、検索モジュールに階層的な索引付けと多層ゲーティング機構を導入し、検索されたコンテンツがよりターゲット的で正確であることを保証する。 最後に、生成段階で異なる種類の入力に対して多段階ネットワーク構造を確立し、各ステージの中間表現に対して相互対応マッチングとスクリーニングを行い、新旧の知識の効果的な統合と反復的更新を確実にする。 実験の結果,提案手法は知識保持と推論精度の観点から,既存の主流比較モデルよりも優れていることがわかった。

関連論文リスト

• Incrementally Learning Multiple Diverse Data Domains via Multi-Source Dynamic Expansion Model [16.035374682124846]
  継続学習は、事前知識を維持しつつ、新たな情報を漸進的に同化できるモデルの開発を目指している。 本稿では,複数の異なるドメインから抽出されたデータサンプルを特徴とする,より複雑で現実的な学習環境に焦点を移す。
  論文  参考訳（メタデータ） (2025-01-15T15:49:46Z)
• Online Relational Inference for Evolving Multi-agent Interacting Systems [14.275434303742328]
  オンライン推論(ORI)は、マルチエージェントインタラクションシステムの進化において、隠れた相互作用グラフを効率的に識別するように設計されている。 固定トレーニングセットに依存する従来のオフラインメソッドとは異なり、ORIはオンラインバックプロパゲーションを採用し、新しいデータポイント毎にモデルを更新する。 重要な革新は、AdaRelationと呼ばれる新しい適応学習技術によって最適化されたトレーニング可能なパラメータとして、隣接行列を使用することである。
  論文  参考訳（メタデータ） (2024-11-03T05:43:55Z)
• Enhanced Transformer architecture for in-context learning of dynamical systems [0.3749861135832073]
  本稿では,従来のメタモデリングフレームワークを3つの重要な革新を通じて強化する。 これらの修正の有効性は、Wiener-Hammerstein系クラスに焦点をあてた数値的な例を通して示される。
  論文  参考訳（メタデータ） (2024-10-04T10:05:15Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Enhanced LFTSformer: A Novel Long-Term Financial Time Series Prediction Model Using Advanced Feature Engineering and the DS Encoder Informer Architecture [0.8532753451809455]
  本研究では,拡張LFTSformerと呼ばれる長期金融時系列の予測モデルを提案する。 このモデルは、いくつかの重要なイノベーションを通じて、自分自身を区別する。 さまざまなベンチマークストックマーケットデータセットに関するシステマティックな実験は、強化LFTSformerが従来の機械学習モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-03T08:37:21Z)
• IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
  本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。 我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。 本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T17:07:36Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Factorized Deep Generative Models for Trajectory Generation with Spatiotemporal-Validity Constraints [10.960924101404498]
  軌跡データの深い生成モデルは、洗練された潜伏パターンの表現的説明モデルを学ぶことができる。 まず、時間不変変数と時間不変変数を分解する新しい深部生成モデルを提案する。 そこで我々は,時間的妥当性に対する変動推論と制約付き最適化に基づく新しい推論戦略を開発した。
  論文  参考訳（メタデータ） (2020-09-20T02:06:36Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。