Fugu-MT 論文翻訳(概要): The Trade-offs of Domain Adaptation for Neural Language Models

論文の概要: The Trade-offs of Domain Adaptation for Neural Language Models

arxiv url: http://arxiv.org/abs/2109.10274v1
Date: Tue, 21 Sep 2021 15:54:31 GMT
ステータス: 処理完了
システム内更新日: 2021-09-22 16:08:19.175908
Title: The Trade-offs of Domain Adaptation for Neural Language Models
Title（参考訳）: ニューラルネットワークモデルにおけるドメイン適応のトレードオフ
Authors: Dan Iter and David Grangier
Abstract要約: ドメイン外セットとドメイン内セットの小さいトレーニングセットを検討する。最初のコントリビューションとして、どちらのセットでモデルのトレーニングを行うメリットが、セットのサイズに依存するかが導出されます。我々は、最も人気のあるデータ選択技術が共通のフレームワークでどのように表現できるかを示す。
参考スコア（独自算出の注目度）: 22.178874891042994
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we connect language model adaptation with concepts of machine learning theory. We consider a training setup with a large out-of-domain set and a small in-domain set. As a first contribution, we derive how the benefit of training a model on either set depends on the size of the sets and the distance between their underlying distribution. As a second contribution, we present how the most popular data selection techniques -- importance sampling, intelligent data selection and influence functions -- can be presented in a common framework which highlights their similarity and also their subtle differences.
Abstract（参考訳）: 本稿では,言語モデル適応と機械学習理論の概念を結びつける。我々は、大きなドメイン外セットと小さなドメイン内セットを持つトレーニングセットアップを検討する。最初の貢献として、どちらの集合上でもモデルをトレーニングする利点が、集合のサイズと基礎となる分布の間の距離に依存するかが導かれる。第2の貢献として,最も一般的なデータ選択手法 – 重要サンプリング,インテリジェントデータ選択,影響関数 – を,その類似性と微妙な違いを強調する共通フレームワークで提示する方法を紹介する。

関連論文リスト

Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文参考訳（メタデータ） (2024-10-28T13:48:43Z)
Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文参考訳（メタデータ） (2023-09-05T17:57:31Z)
On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
論文参考訳（メタデータ） (2023-05-20T16:23:50Z)
Federated Variational Inference Methods for Structured Latent Variable Models [1.0312968200748118]
フェデレートされた学習方法は、データが元の場所を離れることなく、分散データソースをまたいだモデルトレーニングを可能にする。本稿では,ベイズ機械学習において広く用いられている構造的変分推論に基づく汎用的でエレガントな解を提案する。また、標準FedAvgアルゴリズムに類似した通信効率のよい変種も提供する。
論文参考訳（メタデータ） (2023-02-07T08:35:04Z)
Understanding Domain Learning in Language Models Through Subpopulation Analysis [35.16003054930906]
現代のニューラルネットワークアーキテクチャにおいて、異なるドメインがどのようにコード化されているかを調べる。我々は、自然言語領域、モデルサイズ、使用したトレーニングデータ量との関係を分析する。
論文参考訳（メタデータ） (2022-10-22T21:12:57Z)
An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文参考訳（メタデータ） (2022-07-07T06:50:27Z)
QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
論文参考訳（メタデータ） (2022-06-24T17:42:18Z)
CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文参考訳（メタデータ） (2022-05-30T13:34:46Z)
TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文参考訳（メタデータ） (2021-11-29T01:27:42Z)
Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文参考訳（メタデータ） (2020-12-29T23:43:16Z)
Similarity of Neural Networks with Gradients [8.804507286438781]
本稿では,特徴ベクトルと勾配ベクトルの両方を利用してニューラルネットワークの表現を設計することを提案する。提案手法はニューラルネットワークの類似性を計算するための最先端の手法を提供する。
論文参考訳（メタデータ） (2020-03-25T17:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。