論文の概要: Retrieval is Accurate Generation

• arxiv url: http://arxiv.org/abs/2402.17532v3
• Date: Sat, 16 Mar 2024 04:31:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 01:41:04.718843
• Title: Retrieval is Accurate Generation
• Title（参考訳）: 検索は正確な生成である
• Authors: Bowen Cao, Deng Cai, Leyang Cui, Xuxin Cheng, Wei Bi, Yuexian Zou, Shuming Shi,
• Abstract要約: 本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
• 参考スコア（独自算出の注目度）: 99.24267226311157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard language models generate text by selecting tokens from a fixed, finite, and standalone vocabulary. We introduce a novel method that selects context-aware phrases from a collection of supporting documents. One of the most significant challenges for this paradigm shift is determining the training oracles, because a string of text can be segmented in various ways and each segment can be retrieved from numerous possible documents. To address this, we propose to initialize the training oracles using linguistic heuristics and, more importantly, bootstrap the oracles through iterative self-reinforcement. Extensive experiments show that our model not only outperforms standard language models on a variety of knowledge-intensive tasks but also demonstrates improved generation quality in open-ended text generation. For instance, compared to the standard language model counterpart, our model raises the accuracy from 23.47% to 36.27% on OpenbookQA, and improves the MAUVE score from 42.61% to 81.58% in open-ended text generation. Remarkably, our model also achieves the best performance and the lowest latency among several retrieval-augmented baselines. In conclusion, we assert that retrieval is more accurate generation and hope that our work will encourage further research on this new paradigm shift.
• Abstract（参考訳）: 標準言語モデルは、固定、有限、スタンドアロンの語彙からトークンを選択してテキストを生成する。 本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 このパラダイムシフトの最も重要な課題の1つは、テキストの文字列を様々な方法でセグメント化でき、各セグメントを多数の可能なドキュメントから検索できるため、トレーニングのオラクルを決定することである。 そこで本稿では,言語的ヒューリスティックス(Huristics)を用いたオークルの初期化と,反復的自己強化によるオークルのブートストラップを提案する。 実験結果から,本モデルは各種知識集約タスクにおける標準言語モデルよりも優れるだけでなく,オープンエンドテキスト生成における生成品質の向上も示している。 例えば、標準言語モデルと比較して、私たちのモデルはOpenbookQAで23.47%から36.27%に精度を上げ、オープンエンドテキスト生成で42.61%から81.58%にMAUVEのスコアを改善する。 注目すべきことに,本モデルでは,いくつかの検索拡張ベースラインにおいて,最高の性能と低レイテンシを実現している。 結論として,検索はより正確な生成であり,本研究が新たなパラダイムシフトのさらなる研究を促進することを願っている。

関連論文リスト

• Topic-to-essay generation with knowledge-based content selection [1.0625748132006634]
  本稿では,言語モデルからの豊富な意味的知識をデコーダに統合する,コンテンツ選択モジュールを備えた新しいコピー機構モデルを提案する。 実験結果から,提案手法により得られたテキストの多様性を35%から59%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T02:14:42Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Keyphrase Generation for Scientific Document Retrieval [28.22174864849121]
  本研究は,シーケンス・ツー・シーケンス・モデルが文書検索性能を大幅に向上できることを示す実証的証拠を提供する。 本稿では,キーフレーズ生成モデルの限界をよりよく理解することのできる,新たな外部評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-28T13:55:49Z)
• Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events [39.577220559911055]
  長文のきめ細かい制御が可能な生成のためのテストベッドとして,"Outline to Story" (O2S) という新しいタスクを提案する。 次に、最新のキーワード抽出技術で構築された将来のベンチマーク用のデータセットを作成します。
  論文  参考訳（メタデータ） (2021-01-04T08:16:21Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。