論文の概要: Retro-li: Small-Scale Retrieval Augmented Generation Supporting Noisy Similarity Searches and Domain Shift Generalization

• arxiv url: http://arxiv.org/abs/2410.00004v1
• Date: Thu, 12 Sep 2024 23:29:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 15:38:58.929012
• Title: Retro-li: Small-Scale Retrieval Augmented Generation Supporting Noisy Similarity Searches and Domain Shift Generalization
• Title（参考訳）: Retro-li: ノイズ類似検索とドメインシフトの一般化をサポートする小型検索生成
• Authors: Gentiana Rashiti, Geethan Karunaratne, Mrinmaya Sachan, Abu Sebastian, Abbas Rahimi,
• Abstract要約: Retroは、数兆のエントリを含む非パラメトリックメモリのデータベースから検索することで、言語モデリング機能を改善し、毒性と幻覚を減らすことが示されている。 Retro-liを導入することで、検索は小規模なデータベースでも有効であるが、より正確でより良い隣人が必要であり、従ってより小さな非パラメトリックメモリを検索する必要がある。 本稿では,Retro-li の非パラメトリックメモリをアナログメモリ・コンピューティング・ハードウェアに実装し,O(1) 探索時間を示すとともに,処理性能の低下を最小 (1%) に抑えることができることを示す。
• 参考スコア（独自算出の注目度）: 36.251000184801576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The retrieval augmented generation (RAG) system such as Retro has been shown to improve language modeling capabilities and reduce toxicity and hallucinations by retrieving from a database of non-parametric memory containing trillions of entries. We introduce Retro-li that shows retrieval can also help using a small-scale database, but it demands more accurate and better neighbors when searching in a smaller hence sparser non-parametric memory. This can be met by using a proper semantic similarity search. We further propose adding a regularization to the non-parametric memory for the first time: it significantly reduces perplexity when the neighbor search operations are noisy during inference, and it improves generalization when a domain shift occurs. We also show that Retro-li's non-parametric memory can potentially be implemented on analog in-memory computing hardware, exhibiting O(1) search time while causing noise in retrieving neighbors, with minimal (<1%) performance loss. Our code is available at: https://github.com/IBM/Retrieval-Enhanced-Transformer-Little.
• Abstract（参考訳）: Retroのような検索拡張生成(RAG)システムは、数兆のエントリを含む非パラメトリックメモリのデータベースから検索することで、言語モデリング能力を改善し、毒性と幻覚を低減することが示されている。 Retro-liを導入することで、検索は小規模なデータベースでも有効であるが、より正確でより良い隣人を求めることができる。 これは、適切な意味的類似性探索を使用することで達成できる。 さらに、非パラメトリックメモリへの正規化を初めて提案し、推論中に近隣の検索操作がうるさい場合の難易度を著しく低減し、ドメインシフトが発生した場合の一般化を改善する。 また、Retro-liの非パラメトリックメモリはアナログインメモリ・コンピューティング・ハードウェア上で実装可能である可能性を示し、O(1)探索時間を示すとともに、近隣の検索においてノイズを発生させ、性能損失が最小 (1%) であることを示す。 私たちのコードは、https://github.com/IBM/Retrieval-Enhanced-Transformer-Little.comで利用可能です。

関連論文リスト

• Surface-Based Retrieval Reduces Perplexity of Retrieval-Augmented Language Models [1.0552465253379135]
  本研究では,現状のRetroモデルについて検討し,その性能向上が表面レベルの類似性によってよりよく説明できることを示した。 これに触発されて、私たちはRetroのセマンティック検索をBM25に基づく表面レベルの手法に置き換え、パープレキシティの大幅な低減を実現した。
  論文  参考訳（メタデータ） (2023-05-25T16:56:26Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
  本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-03T21:40:54Z)
• Re2G: Retrieve, Rerank, Generate [14.848179433828252]
  ニューラル初期検索とBARTに基づくシーケンス・ツー・シーケンス生成を併用したRe2Gを提案する。 エンド・ツー・エンドをトレーニングするために,本システムでは,対象シーケンスの出力に対して,基礎的真理のみを用いて,知識蒸留の新たなバリエーションを導入し,初期検索,再ランカ,生成を訓練する。 KILTのリーダーボード上では、ゼロショットスロットフィリング、質問応答、ファクトチェック、ダイアログの4つのタスクにおいて、従来の最先端よりも9%から34%向上した。
  論文  参考訳（メタデータ） (2022-07-13T15:51:40Z)
• Transformer with Memory Replay [13.478839407623978]
  変換器は,大規模テキストコーパスの事前学習により,自然言語処理タスクの最先端性能を実現する。 メモリリプレイは、メモリバッファからの保存と再生によって過去の例を記憶し再利用するメカニズムである。 本稿では, メモリリプレイとトランスフォーマを統合したEmphTransformer with Memory Replay (TMR)を提案する。
  論文  参考訳（メタデータ） (2022-05-19T21:27:36Z)
• Virtual Replay Cache [20.531576904743282]
  本稿では,これらの欠点に対処する新たなデータ構造であるVirtual Replay Cache(VRC)を提案する。 VRCは、DQN(lambda)のキャッシュメモリフットプリントをほぼ排除し、ハードウェアのトレーニング時間をわずかに短縮します。
  論文  参考訳（メタデータ） (2021-12-06T23:40:27Z)
• Recall@k Surrogate Loss with Large Batches and Similarity Mixup [62.67458021725227]
  微分不可能な場合、評価計量の勾配降下による直接最適化は不可能である。 本研究は,リコールにおける相異なるサロゲート損失を提案する。 提案手法は,複数の画像検索ベンチマークにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-08-25T11:09:11Z)
• CNN with large memory layers [2.368995563245609]
  この作業は、最近提案された製品キーメモリ構造であるcitelarge_Memoryを中心に、多くのコンピュータビジョンアプリケーションに実装されている。 メモリ構造は、ほぼすべてのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。
  論文  参考訳（メタデータ） (2021-01-27T20:58:20Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。