Fugu-MT 論文翻訳(概要): Automatic Domain Adaptation by Transformers in In-Context Learning

論文の概要: Automatic Domain Adaptation by Transformers in In-Context Learning

arxiv url: http://arxiv.org/abs/2405.16819v1
Date: Mon, 27 May 2024 04:33:53 GMT
ステータス: 処理完了
システム内更新日: 2024-05-28 17:00:31.524346
Title: Automatic Domain Adaptation by Transformers in In-Context Learning
Title（参考訳）: インコンテキスト学習における変換器によるドメイン自動適応
Authors: Ryuichiro Hataya, Kota Matsui, Masaaki Imaizumi,
Abstract要約: 本稿では、テキスト内学習フレームワークにおいて、与えられたデータセットに対するドメイン適応手法を近似し、選択できるTransformerモデルを提案する。数値的な結果から、文脈内学習は既存の手法を超越した適応的領域適応を示すことが示唆された。
参考スコア（独自算出の注目度）: 8.247527190788041
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Selecting or designing an appropriate domain adaptation algorithm for a given problem remains challenging. This paper presents a Transformer model that can provably approximate and opt for domain adaptation methods for a given dataset in the in-context learning framework, where a foundation model performs new tasks without updating its parameters at test time. Specifically, we prove that Transformers can approximate instance-based and feature-based unsupervised domain adaptation algorithms and automatically select an algorithm suited for a given dataset. Numerical results indicate that in-context learning demonstrates an adaptive domain adaptation surpassing existing methods.
Abstract（参考訳）: 与えられた問題に対して適切なドメイン適応アルゴリズムを選択したり設計したりすることは依然として困難である。本稿では,テキスト内学習フレームワークにおけるデータセットに対するドメイン適応手法を,テスト時にパラメータを更新することなく,新しいタスクを実行するトランスフォーマーモデルを提案する。具体的には、Transformerがインスタンスベースおよび特徴ベース非教師付きドメイン適応アルゴリズムを近似し、与えられたデータセットに適したアルゴリズムを自動的に選択できることを証明する。数値的な結果から、文脈内学習は既存の手法を超越した適応的領域適応を示すことが示唆された。

関連論文リスト

SKADA-Bench: Benchmarking Unsupervised Domain Adaptation Methods with Realistic Validation [55.87169702896249]
Unsupervised Domain Adaptation (DA) は、ラベル付きソースドメインでトレーニングされたモデルを適用して、ラベルなしのターゲットドメインでデータ分散シフトをうまく実行する。本稿では,DA手法の評価と,再重み付け,マッピング,部分空間アライメントなど,既存の浅層アルゴリズムの公平な評価を行うフレームワークを提案する。本ベンチマークでは,現実的な検証の重要性を強調し,現実的なアプリケーションに対する実践的なガイダンスを提供する。
論文参考訳（メタデータ） (2024-07-16T12:52:29Z)
On Fine-Tuned Deep Features for Unsupervised Domain Adaptation [23.18781318003242]
ドメイン適応性能を向上させるために,細調整された特徴と特徴変換に基づくUDA法を組み合わせる可能性について検討した。具体的には、一般的なプログレッシブな擬似ラベリング手法を微調整フレームワークに統合し、微調整された特徴を抽出する。 ResNet-50/101 や DeiT-small/base を含む複数の深層モデルによる実験を行い、微調整された特徴の組み合わせを実証した。
論文参考訳（メタデータ） (2022-10-25T15:07:04Z)
Variational Model Perturbation for Source-Free Domain Adaptation [64.98560348412518]
確率的枠組みにおける変分ベイズ推定によるモデルパラメータの摂動を導入する。本研究では,ベイズニューラルネットワークの学習と理論的関連性を実証し,目的領域に対する摂動モデルの一般化可能性を示す。
論文参考訳（メタデータ） (2022-10-19T08:41:19Z)
Domain Adaptation from Scratch [24.612696638386623]
我々は、NLPを機密ドメインに拡張するために欠かせない、新しい学習セットである「スクラッチからのドメイン適応」を提示する。この設定では、トレーニングされたモデルがセンシティブなターゲットドメイン上でうまく動作するように、ソースドメインの集合からのデータを効率的にアノテートすることを目的としている。本研究は、データ選択やドメイン適応アルゴリズムからアクティブな学習パラダイムまで、この挑戦的な設定に対するいくつかのアプローチを比較した。
論文参考訳（メタデータ） (2022-09-02T05:55:09Z)
Domain Adaptation Principal Component Analysis: base linear method for learning with out-of-distribution data [55.41644538483948]
ドメイン適応は現代の機械学習において一般的なパラダイムである。ドメイン適応主成分分析(DAPCA)という手法を提案する。 DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
論文参考訳（メタデータ） (2022-08-28T21:10:56Z)
Learning Instance-Specific Adaptation for Cross-Domain Segmentation [79.61787982393238]
クロスドメイン画像セグメンテーションのためのテスト時間適応法を提案する。テスト時に新しい目に見えないインスタンスが与えられると、インスタンス固有のBatchNormキャリブレーションを実行することで、事前トレーニングされたモデルを適用します。
論文参考訳（メタデータ） (2022-03-30T17:59:45Z)
Adaptive Sampling for Minimax Fair Classification [40.936345085421955]
最適化の原理に基づく適応型サンプリングアルゴリズムを提案し,その性能に関する理論的境界を導出する。特定の問題のクラスに対してアルゴリズム独立なローバウンドを導出することにより,適応スキームによる性能は一般に改善できないことを示した。
論文参考訳（メタデータ） (2021-03-01T04:58:27Z)
Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文参考訳（メタデータ） (2020-07-06T17:59:30Z)
Adversarial Weighting for Domain Adaptation in Regression [4.34858896385326]
制御ドメイン適応の文脈において、回帰タスクを処理するための新しいインスタンスベースのアプローチを提案する。本研究では,情報源重み付け方式とタスクを1つのフィードフォワード勾配下で学習する逆ネットワークアルゴリズムを開発した。
論文参考訳（メタデータ） (2020-06-15T09:44:04Z)
Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。グラフ埋め込みに基づく汎用フレームワークを提案する。提案手法が強力なドメイン適応フレームワークにつながることを示す。
論文参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。