Fugu-MT 論文翻訳(概要): Focused Prefix Tuning for Controllable Text Generation

論文の概要: Focused Prefix Tuning for Controllable Text Generation

arxiv url: http://arxiv.org/abs/2306.00369v1
Date: Thu, 1 Jun 2023 06:00:43 GMT
ステータス: 処理完了
システム内更新日: 2023-06-02 18:12:03.237123
Title: Focused Prefix Tuning for Controllable Text Generation
Title（参考訳）: 制御可能なテキスト生成のためのフォーカス付きプレフィックスチューニング
Authors: Congda Ma, Tianyu Zhao, Makoto Shing, Kei Sawada, Manabu Okumura
Abstract要約: この問題を緩和し、制御者が所望の属性にフォーカスできるようにするために、FPT( Focus prefix tuning)を提案する。実験結果から,FPTは単一属性制御タスクにおけるベースラインモデルよりも制御精度とテキスト流速を向上できることが示された。
参考スコア（独自算出の注目度）: 19.88484696133778
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In a controllable text generation dataset, there exist unannotated attributes that could provide irrelevant learning signals to models that use it for training and thus degrade their performance. We propose focused prefix tuning(FPT) to mitigate the problem and to enable the control to focus on the desired attribute. Experimental results show that FPT can achieve better control accuracy and text fluency than baseline models in single-attribute control tasks. In multi-attribute control tasks, FPT achieves comparable control accuracy with the state-of-the-art approach while keeping the flexibility to control new attributes without retraining existing models.
Abstract（参考訳）: 制御可能なテキスト生成データセットでは、無関係な学習信号をトレーニングに使用するモデルに提供し、そのパフォーマンスを低下させる無注釈属性が存在する。この問題を緩和し、制御者が所望の属性に集中できるようにするために、FPT( Focus prefix tuning)を提案する。実験結果から,FPTは単一属性制御タスクにおけるベースラインモデルよりも制御精度とテキスト流速を向上できることが示された。マルチ属性制御タスクでは、FPTは既存のモデルを再トレーニングすることなく、新しい属性を制御する柔軟性を維持しながら、最先端のアプローチと同等の制御精度を達成する。

関連論文リスト

Adding Conditional Control to Diffusion Models with Reinforcement Learning [59.295203871547336]
拡散モデルは、生成されたサンプルの特性を正確に制御できる強力な生成モデルである。本研究では、オフラインデータセットを活用した強化学習(RL)に基づく新しい制御手法を提案する。
論文参考訳（メタデータ） (2024-06-17T22:00:26Z)
LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes [46.74968005604948]
本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
論文参考訳（メタデータ） (2024-02-10T11:53:48Z)
Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
論文参考訳（メタデータ） (2023-12-05T17:47:33Z)
Parameter-Efficient Tuning Helps Language Model Alignment [57.27390187540737]
これまでは主に強化学習(RLHF)と直接選好最適化(DPO)を採用してきた。コントロール可能な生成は、データフォーマットに関して、より柔軟性を提供します。パラメータ効率調整(MEET)を併用したアライメントMEntでは,制御トークンの品質が向上する。
論文参考訳（メタデータ） (2023-10-01T23:27:14Z)
Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
論文参考訳（メタデータ） (2023-03-25T07:17:03Z)
FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
論文参考訳（メタデータ） (2022-10-06T19:00:51Z)
Plug and Play Counterfactual Text Generation for Model Robustness [12.517365153658028]
CASPerは、プラグアンドプレイのデファクト生成フレームワークである。本稿では,CASPerが属性モデルによって提供されるステアリングに追従する反ファクトテキストを効果的に生成することを示す。また,生成したデファクトをトレーニングデータの拡張に使用することにより,テストモデルをより堅牢にすることができることを示す。
論文参考訳（メタデータ） (2022-06-21T14:25:21Z)
Mix and Match: Learning-free Controllable Text Generation using Energy Language Models [33.97800741890231]
制御可能なテキスト生成のためのグローバルスコアベースの代替手段であるMix and Match LMを提案する。我々は制御可能な生成のタスクをエネルギーベースモデルからのサンプルの描画として解釈する。我々は、このエネルギーベースモデルからサンプリングするためにメトロポリス・ハスティングスサンプリングスキームを使用する。
論文参考訳（メタデータ） (2022-03-24T18:52:09Z)
Controlled Text Generation as Continuous Optimization with Multiple Constraints [23.71027518888138]
事前学習したモデルから制御可能な推論を行うためのフレキシブルでモジュラーなアルゴリズムを提案する。所望のテキストを生成するために,ラグランジアン乗算器と勾配差に基づく手法を用いる。我々は,複数の文レベル属性を用いた制御可能な機械翻訳とスタイル変換のアプローチを評価する。
論文参考訳（メタデータ） (2021-08-04T05:25:20Z)
How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
本稿では,トレーニングデータの密度と制御性能の関係を考察する。データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
論文参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。