論文の概要: Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations
- arxiv url: http://arxiv.org/abs/2212.08780v1
- Date: Sat, 17 Dec 2022 02:20:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 16:01:57.572764
- Title: Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations
- Title(参考訳): 構成的タスク構成による統一表-テキストモデルのクロスタスク一般化の改善
- Authors: Jifan Chen, Yuhao Zhang, Lan Liu, Rui Dong, Xinchi Chen, Patrick Ng,
William Yang Wang, Zhiheng Huang
- Abstract要約: メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
- 参考スコア(独自算出の注目度): 63.04466647849211
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been great progress in unifying various table-to-text tasks using a
single encoder-decoder model trained via multi-task learning (Xie et al.,
2022). However, existing methods typically encode task information with a
simple dataset name as a prefix to the encoder. This not only limits the
effectiveness of multi-task learning, but also hinders the model's ability to
generalize to new domains or tasks that were not seen during training, which is
crucial for real-world applications. In this paper, we propose compositional
task configurations, a set of prompts prepended to the encoder to improve
cross-task generalization of unified models. We design the task configurations
to explicitly specify the task type, as well as its input and output types. We
show that this not only allows the model to better learn shared knowledge
across different tasks at training, but also allows us to control the model by
composing new configurations that apply novel input-output combinations in a
zero-shot manner. We demonstrate via experiments over ten table-to-text tasks
that our method outperforms the UnifiedSKG baseline by noticeable margins in
both in-domain and zero-shot settings, with average improvements of +0.5 and
+12.6 from using a T5-large backbone, respectively.
- Abstract(参考訳): マルチタスク学習によって訓練された単一エンコーダ・デコーダモデル(Xie et al., 2022)を用いて、様々なテーブル・ツー・テキストタスクを統一する大きな進歩があった。
しかし、既存のメソッドは通常、単純なデータセット名をエンコーダのプレフィックスとしてタスク情報をエンコードする。
これはマルチタスク学習の有効性を制限するだけでなく、トレーニング中に見られなかった新しいドメインやタスクにモデルを一般化する能力を阻害する。
本稿では,エンコーダに事前されたプロンプトの集合であるコンポジションタスク構成を提案し,統一モデルのクロスタスク一般化を改善する。
我々は、タスクタイプとその入出力タイプを明示的に指定するためにタスク構成を設計する。
これは、トレーニング中に異なるタスク間で共有知識を学習するだけでなく、新しい入力と出力の組み合わせをゼロショットで適用する新しい構成を組み込むことで、モデルを制御できることを示している。
提案手法は,t5サイズのバックボーンを用いた場合,平均で+0.5および+12.6が向上し,ドメイン内およびゼロショット設定の両方において,unifiedskgベースラインよりも優れることを示す。
関連論文リスト
- Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳(メタデータ) (2022-05-25T10:44:25Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - Combining Modular Skills in Multitask Learning [149.8001096811708]
モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。
この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。
ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
論文 参考訳(メタデータ) (2022-02-28T16:07:19Z) - Grad2Task: Improved Few-shot Text Classification Using Gradients for
Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。
私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。
我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文 参考訳(メタデータ) (2022-01-27T15:29:30Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳(メタデータ) (2021-12-02T18:59:50Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳(メタデータ) (2020-03-21T02:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。