論文の概要: $k$NN-Adapter: Efficient Domain Adaptation for Black-Box Language Models

• arxiv url: http://arxiv.org/abs/2302.10879v1
• Date: Tue, 21 Feb 2023 18:54:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 13:59:37.802477
• Title: $k$NN-Adapter: Efficient Domain Adaptation for Black-Box Language Models
• Title（参考訳）: $k$NN-Adapter: ブラックボックス言語モデルの効率的なドメイン適応
• Authors: Yangsibo Huang, Daogao Liu, Zexuan Zhong, Weijia Shi, Yin Tat Lee
• Abstract要約: $k$NN-Adapterは、大きな言語モデルを新しいドメインに適応させる方法である。 4つの異なるドメインの実験では、$k$NN-Adapterがパープレキシティを大幅に改善している。
• 参考スコア（独自算出の注目度）: 18.969047541720123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning a language model on a new domain is standard practice for domain adaptation. However, it can be infeasible when it comes to modern large-scale language models such as GPT-3, which can only be accessed through APIs, making it difficult to access the internal parameters of the model. In this paper, we propose $k$NN-Adapter, a method to effectively adapt these black-box large language models (LLMs) to a new domain. The $k$NN-Adapter builds on top of the retrieval-augmented language model, and adaptively learns to interpolate the output of the language model with retrieval results from a datastore consisting of the target domain data. Our experiments on four different domains demonstrate that $k$NN-Adapter significantly improves perplexity, and works particularly well in settings with limited access to LLMs. Additionally, we show that $k$NN-Adapter is more effective than fine-tuning when the amount of training data is limited. We also release a dataset to encourage further study.
• Abstract（参考訳）: 新しいドメインで言語モデルを微調整するのは、ドメイン適応の標準的なプラクティスです。 しかし、APIを通してのみアクセス可能なGPT-3のような近代的な大規模言語モデルでは実現不可能であり、モデルの内部パラメータへのアクセスが困難である。 本稿では,これらブラックボックス大規模言語モデル(llm)を新しいドメインに効果的に適用する手法である$k$nn-adapterを提案する。 この$k$nn-adapterは、検索型言語モデルの上に構築され、言語モデルの出力と、対象ドメインデータからなるデータストアからの検索結果との補間を適応的に学習する。 4つの異なるドメインに対する実験により、$k$NN-Adapter はパープレキシティを著しく改善し、特に LLM へのアクセスに制限のある設定でうまく機能することを示した。 さらに、トレーニングデータの量を制限する場合、$k$NN-Adapterは微調整よりも効果的であることを示す。 さらなる研究を促進するデータセットもリリースしています。

関連論文リスト

• Generative Adapter: Contextualizing Language Models in Parameters with A Single Forward Pass [109.34230156454574]
  大規模言語モデル(LM)は一般的に、新しい文脈におけるパフォーマンスを改善するために適応される。 微調整によってトレーニングコストが大幅に増加し、推論オーバーヘッドが増加する。 我々は、新しいコンテキストを低ランクLMアダプタに直接マッピングする効率的で効率的な適応手法である$GenerativeAdapter$を紹介した。
  論文  参考訳（メタデータ） (2024-11-08T00:42:47Z)
• Domain Adaptive Code Completion via Language Models and Decoupled Domain Databases [15.964849180459675]
  $k$NM-LMは、ドメイン知識を微調整なしで言語モデルに統合する検索強化言語モデルである。 私たちのアプローチは、異なる言語モデルとドメインに自動的に適応できます。
  論文  参考訳（メタデータ） (2023-08-18T05:25:55Z)
• $m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter [128.69723410769586]
  多言語ニューラルネットワーク翻訳モデル(MNMT)は、ドメインと言語ペアのデータに基づいて評価すると、最先端の性能が得られる。 ドメインシフトや新しい言語ペアへの変換にMNMTモデルを使用すると、パフォーマンスが劇的に低下する。 我々はメタラーニングとアダプタを用いたドメイン知識と言語知識を組み合わせた$m4Adapter$を提案する。
  論文  参考訳（メタデータ） (2022-10-21T12:25:05Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters [66.7986513246294]
  機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。 部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
  論文  参考訳（メタデータ） (2021-10-18T18:55:23Z)
• Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation [61.27321597981737]
  $k$NN-MTは、トレーニング済みニューラルネットワーク翻訳(NMT)モデルとドメイン固有のトークンレベルである$k$-nearest-neighbor検索を直接組み込むという有望な能力を示している。 対象言語におけるドメイン内単言語文を直接使用して,$k$-nearest-neighbor検索に有効なデータストアを構築する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-14T11:50:01Z)
• Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network [0.0]
  RNNトランスデューサモデルは,少量のテキストデータのみを用いて,新しいドメインに効果的に適応できることを示した。 本稿では,複数のASR評価タスクを用いて,目標タスクWERにおける相対的な10〜45%の利得が得られる方法を示す。
  論文  参考訳（メタデータ） (2021-04-22T15:21:41Z)
• Domain Adaptation in Dialogue Systems using Transfer and Meta-Learning [12.64591916699374]
  現在の生成ベースの対話システムは、少量のターゲットデータしか利用できない場合、新しい未知のドメインに適応できない。 トランスファーとメタラーニングを組み合わせることにより,未知の領域に適応する手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T16:16:57Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。