論文の概要: kNN-BOX: A Unified Framework for Nearest Neighbor Generation

• arxiv url: http://arxiv.org/abs/2302.13574v1
• Date: Mon, 27 Feb 2023 08:21:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 16:22:54.955699
• Title: kNN-BOX: A Unified Framework for Nearest Neighbor Generation
• Title（参考訳）: kNN-BOX:最近傍世代のための統一フレームワーク
• Authors: Wenhao Zhu, Qianfeng Zhao, Yunzhe Lv, Shujian Huang, Siheng Zhao, Sizhe Liu, Jiajun Chen
• Abstract要約: トークンレベルのシンボルデータストアによるベースニューラルモデルの拡張は、機械翻訳(MT)において有望な結果を得た。 我々は,この新パラダイムの迅速な開発と対話的分析を可能にする統合フレームワークkNN-BOXを導入する。 実験結果から,kNN-BOXによるベースニューラルモデルの拡張は,これらのタスクすべてにおいて大きなパフォーマンス向上をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 35.5127054174513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Augmenting the base neural model with a token-level symbolic datastore is a novel generation paradigm and has achieved promising results in machine translation (MT). In this paper, we introduce a unified framework kNN-BOX, which enables quick development and interactive analysis for this novel paradigm. kNN-BOX decomposes the datastore-augmentation approach into three modules: datastore, retriever and combiner, thus putting diverse kNN generation methods into a unified way. Currently, kNN-BOX has provided implementation of seven popular kNN-MT variants, covering research from performance enhancement to efficiency optimization. It is easy for users to reproduce these existing works or customize their own models. Besides, users can interact with their kNN generation systems with kNN-BOX to better understand the underlying inference process in a visualized way. In the experiment section, we apply kNN-BOX for machine translation and three other seq2seq generation tasks, namely, text simplification, paraphrase generation and question generation. Experiment results show that augmenting the base neural model with kNN-BOX leads to a large performance improvement in all these tasks. The code and document of kNN-BOX is available at https://github.com/NJUNLP/knn-box.
• Abstract（参考訳）: トークンレベルのシンボルデータストアでベースニューラルモデルを拡張することは、新しい生成パラダイムであり、機械翻訳(MT)で有望な結果を得た。 本稿では,この新しいパラダイムの素早い開発とインタラクティブな分析を可能にする統一フレームワーク knn-box を提案する。 kNN-BOXはデータストア拡張アプローチを3つのモジュールに分解する。 現在、kNN-BOXは7種類のkNN-MTを実装しており、性能向上から効率最適化までの研究をカバーしている。 既存の作品を再現したり、モデルをカスタマイズしたりするのは簡単です。 さらに、ユーザはkNN生成システムとkNN-BOXと対話して、基盤となる推論プロセスを視覚化された方法でよりよく理解することができる。 実験では,kNN-BOXを機械翻訳に適用し,他の3つのSeq2seq生成タスク,すなわちテキスト単純化,パラフレーズ生成,質問生成に適用する。 実験結果から,kNN-BOXによるベースニューラルモデルの拡張は,これらのタスクすべてにおいて大きなパフォーマンス向上をもたらすことが示された。 kNN-BOXのコードとドキュメントはhttps://github.com/NJUNLP/knn-boxで入手できる。

関連論文リスト

• INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation [57.952478914459164]
  kNN-MTは、推論中に隣接する表現に基づいて予測を円滑にするための効果的なパラダイムを提供する。 我々は,kNN近傍の表現を少数の新しいパラメータで調整することで,表現空間を円滑にするための効果的なトレーニングフレームワークINKを提案する。 4つのベンチマークデータセットでの実験では、メソッドは1.99 COMETと1.0 BLEUの平均ゲインを達成し、0.02倍のメモリ空間と1.9倍の推論速度を持つ最先端のkNN-MTシステムより優れていた。
  論文  参考訳（メタデータ） (2023-06-10T08:39:16Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning [7.311071760653835]
  予測学習のための最近のRNNモデルを強化するために,Multi-Scale RNN (MS-RNN) という汎用フレームワークを提案する。 我々はMS-RNNフレームワークを理論解析と徹底的な実験により検証する。 その結果、我々のフレームワークを組み込んだRNNモデルは、メモリコストが大幅に削減されるが、以前よりも性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2022-06-07T04:57:58Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Fully Spiking Variational Autoencoder [66.58310094608002]
  スパイキングニューラルネットワーク(SNN)は、超高速で超低エネルギー消費のニューロモルフィックデバイス上で動作することができる。 本研究では,SNNを用いた可変オートエンコーダ(VAE)を構築し,画像生成を実現する。
  論文  参考訳（メタデータ） (2021-09-26T06:10:14Z)
• Selective Pseudo-label Clustering [42.19193184852487]
  ディープニューラルネットワーク(DNN)は、高次元データをクラスタリングする困難なタスクに対処する手段を提供する。 DNNのトレーニングに最も自信のある擬似ラベルのみを用いる選択的擬似ラベルクラスタリングを提案する。 新しいアプローチは、3つの人気のある画像データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-22T13:56:53Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• A Token-wise CNN-based Method for Sentence Compression [31.9210679048841]
  文圧縮は、原文の短縮とキー情報の保存を目的とした自然言語処理(NLP)タスクである。 現在の手法は主に処理速度の悪いリカレントニューラルネットワーク(RNN)モデルに基づいている。 本稿では,CNN ベースモデルであるトークンワイド・コナールニューラルネットワークと,削除に基づく文圧縮のための事前学習された双方向表現(BERT)機能を提案する。
  論文  参考訳（メタデータ） (2020-09-23T17:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。