論文の概要: Research on the Online Update Method for Retrieval-Augmented Generation (RAG) Model with Incremental Learning

• arxiv url: http://arxiv.org/abs/2501.07063v1
• Date: Mon, 13 Jan 2025 05:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 19:20:13.650612
• Title: Research on the Online Update Method for Retrieval-Augmented Generation (RAG) Model with Incremental Learning
• Title（参考訳）: インクリメンタル学習を伴う検索拡張生成(RAG)モデルのオンライン更新手法に関する研究
• Authors: Yuxin Fan, Yuxiang Wang, Lipeng Liu, Xirui Tang, Na Sun, Zidong Yu,
• Abstract要約: 提案手法は,知識保持と推論精度の観点から,既存の主流比較モデルよりも優れている。 実験の結果,提案手法は知識保持と推論精度の観点から,既存の主流比較モデルよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 13.076087281398813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the contemporary context of rapid advancements in information technology and the exponential growth of data volume, language models are confronted with significant challenges in effectively navigating the dynamic and ever-evolving information landscape to update and adapt to novel knowledge in real time. In this work, an online update method is proposed, which is based on the existing Retrieval Enhanced Generation (RAG) model with multiple innovation mechanisms. Firstly, the dynamic memory is used to capture the emerging data samples, and then gradually integrate them into the core model through a tunable knowledge distillation strategy. At the same time, hierarchical indexing and multi-layer gating mechanism are introduced into the retrieval module to ensure that the retrieved content is more targeted and accurate. Finally, a multi-stage network structure is established for different types of inputs in the generation stage, and cross-attention matching and screening are carried out on the intermediate representations of each stage to ensure the effective integration and iterative update of new and old knowledge. Experimental results show that the proposed method is better than the existing mainstream comparison models in terms of knowledge retention and inference accuracy.
• Abstract（参考訳）: 情報技術の急速な進歩とデータボリュームの指数的成長の現代的文脈において、言語モデルは、動的かつ絶え間なく進化する情報ランドスケープを効果的にナビゲートし、新しい知識をリアルタイムで更新し適応する上で、重大な課題に直面している。 本研究では、複数の革新メカニズムを持つ既存の検索拡張生成(RAG)モデルに基づくオンライン更新手法を提案する。 まず、動的メモリを用いて新しいデータサンプルをキャプチャし、学習可能な知識蒸留戦略によってコアモデルに徐々に統合する。 同時に、検索モジュールに階層的な索引付けと多層ゲーティング機構を導入し、検索されたコンテンツがよりターゲット的で正確であることを保証する。 最後に、生成段階で異なる種類の入力に対して多段階ネットワーク構造を確立し、各ステージの中間表現に対して相互対応マッチングとスクリーニングを行い、新旧の知識の効果的な統合と反復的更新を確実にする。 実験の結果,提案手法は知識保持と推論精度の観点から,既存の主流比較モデルよりも優れていることがわかった。

関連論文リスト

• Self-Controlled Dynamic Expansion Model for Continual Learning [10.447232167638816]
  本稿では, 自己制御型動的拡張モデル(SCDEM)を提案する。 SCDEMは複数のトレーニング可能なトレーニング済みのViTバックボーンを編成し、多様で意味的に豊かな表現を提供する。 提案手法の有効性を評価するため,幅広い実験が実施されている。
  論文  参考訳（メタデータ） (2025-04-14T15:22:51Z)
• Enhancing knowledge retention for continual learning with domain-specific adapters and features gating [4.637185817866919]
  継続的な学習は、以前に取得した知識を保持しながら、連続したデータのストリームから学習するモデルに力を与える。 本稿では,視覚変換器の自己保持機構にアダプタを組み込むことにより,異なるドメインからのデータセットを逐次追加する場合の知識保持を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2025-04-11T15:20:08Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。 実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。 LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Incrementally Learning Multiple Diverse Data Domains via Multi-Source Dynamic Expansion Model [16.035374682124846]
  継続学習は、事前知識を維持しつつ、新たな情報を漸進的に同化できるモデルの開発を目指している。 本稿では,複数の異なるドメインから抽出されたデータサンプルを特徴とする,より複雑で現実的な学習環境に焦点を移す。
  論文  参考訳（メタデータ） (2025-01-15T15:49:46Z)
• Online Relational Inference for Evolving Multi-agent Interacting Systems [14.275434303742328]
  オンライン推論(ORI)は、マルチエージェントインタラクションシステムの進化において、隠れた相互作用グラフを効率的に識別するように設計されている。 固定トレーニングセットに依存する従来のオフラインメソッドとは異なり、ORIはオンラインバックプロパゲーションを採用し、新しいデータポイント毎にモデルを更新する。 重要な革新は、AdaRelationと呼ばれる新しい適応学習技術によって最適化されたトレーニング可能なパラメータとして、隣接行列を使用することである。
  論文  参考訳（メタデータ） (2024-11-03T05:43:55Z)
• Enhanced Transformer architecture for in-context learning of dynamical systems [0.3749861135832073]
  本稿では,従来のメタモデリングフレームワークを3つの重要な革新を通じて強化する。 これらの修正の有効性は、Wiener-Hammerstein系クラスに焦点をあてた数値的な例を通して示される。
  論文  参考訳（メタデータ） (2024-10-04T10:05:15Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Enhanced LFTSformer: A Novel Long-Term Financial Time Series Prediction Model Using Advanced Feature Engineering and the DS Encoder Informer Architecture [0.8532753451809455]
  本研究では,拡張LFTSformerと呼ばれる長期金融時系列の予測モデルを提案する。 このモデルは、いくつかの重要なイノベーションを通じて、自分自身を区別する。 さまざまなベンチマークストックマーケットデータセットに関するシステマティックな実験は、強化LFTSformerが従来の機械学習モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-03T08:37:21Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation [48.039156140237615]
  目標ドメインの継続的な変更に事前訓練されたモデルを適用するために、連続的なテスト時間適応タスクを提案する。 我々はCTTA用のVisual Domain Adapter (ViDA) を設計し、ドメイン固有知識とドメイン共有知識の両方を明示的に扱う。 提案手法は,CTTAタスクの分類とセグメント化の両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-06-07T11:18:53Z)
• IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
  本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。 我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。 本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T17:07:36Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Factorized Deep Generative Models for Trajectory Generation with Spatiotemporal-Validity Constraints [10.960924101404498]
  軌跡データの深い生成モデルは、洗練された潜伏パターンの表現的説明モデルを学ぶことができる。 まず、時間不変変数と時間不変変数を分解する新しい深部生成モデルを提案する。 そこで我々は,時間的妥当性に対する変動推論と制約付き最適化に基づく新しい推論戦略を開発した。
  論文  参考訳（メタデータ） (2020-09-20T02:06:36Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。