論文の概要: Adapt$\mathcal{O}$r: Objective-Centric Adaptation Framework for Language Models

• arxiv url: http://arxiv.org/abs/2203.03989v1
• Date: Tue, 8 Mar 2022 10:34:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 13:44:16.169436
• Title: Adapt$\mathcal{O}$r: Objective-Centric Adaptation Framework for Language Models
• Title（参考訳）: Adapt$\mathcal{O}$r:言語モデルのためのObjective-Centric Adaptation Framework
• Authors: Michal \v{S}tef\'anik, V\'it Novotn\'y, Nikola Groverov\'a and Petr Sojka
• Abstract要約: 本稿では、事前学習と微調整のステップからなる従来のモデル中心のアプローチを客観中心のアプローチに変換するAdaptorライブラリを提案する。 マルチタスクトレーニング、カスタム目標開発、動的トレーニングカリキュラム、ドメイン適応において、目的中心の実験の強化の恩恵を受けることができる研究の方向性を調査する。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Progress in natural language processing research is catalyzed by the possibilities given by the widespread software frameworks. This paper introduces Adaptor library that transposes the traditional model-centric approach composed of pre-training + fine-tuning steps to objective-centric approach, composing the training process by applications of selected objectives. We survey research directions that can benefit from enhanced objective-centric experimentation in multitask training, custom objectives development, dynamic training curricula, or domain adaptation. Adaptor aims to ease reproducibility of these research directions in practice. Finally, we demonstrate the practical applicability of Adaptor in selected unsupervised domain adaptation scenarios.
• Abstract（参考訳）: 自然言語処理研究の進展は、広範囲にわたるソフトウェアフレームワークによってもたらされる可能性によって触媒される。 本稿では,事前学習と微調整からなる従来のモデル中心のアプローチを客観的中心のアプローチに転換する適応型ライブラリを提案する。 マルチタスクトレーニング、カスタム目標開発、動的トレーニングカリキュラム、ドメイン適応において、目的中心の実験の強化の恩恵を受けることができる研究の方向性を調査する。 Adaptorは、これらの研究の方向性を再現しやすくすることを目的としている。 最後に、選択された教師なしドメイン適応シナリオにおけるアダプタの実用的適用性を示す。

関連論文リスト

• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• PASTA: Pretrained Action-State Transformer Agents [10.654719072766495]
  自己教師型学習は、様々なコンピューティング領域において革命的なパラダイムシフトをもたらした。 最近のアプローチでは、大量のラベルのないデータに基づいて、トランスフォーマーモデルを事前訓練する。 強化学習において、研究者は最近これらのアプローチに適応し、専門家の軌道で事前訓練されたモデルを開発した。
  論文  参考訳（メタデータ） (2023-07-20T15:09:06Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Test-Time Adaptation with Shape Moments for Image Segmentation [16.794050614196916]
  セグメント化のためのテスト時間単オブジェクト適応について検討する。 本稿では,この課題に対処するための形状誘導エントロピー最小化手法を提案する。 我々は, 様々な形状を事前に組み込んで, 可算解への適応を導出する可能性を示す。
  論文  参考訳（メタデータ） (2022-05-16T20:47:13Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。