Fugu-MT 論文翻訳(概要): An Empirical Study of Extrapolation in Text Generation with Scalar Control

論文の概要: An Empirical Study of Extrapolation in Text Generation with Scalar Control

arxiv url: http://arxiv.org/abs/2104.07910v1
Date: Fri, 16 Apr 2021 06:22:24 GMT
ステータス: 処理完了
システム内更新日: 2021-04-19 14:36:01.098691
Title: An Empirical Study of Extrapolation in Text Generation with Scalar Control
Title（参考訳）: スカラー制御によるテキスト生成における外挿の実証的研究
Authors: Aashi Jain and Taylor Berg-Kirkpatrick
Abstract要約: トレーニング中に見られない制御値の範囲にモデルが一般化するよう要求されるゼロショット設定を検討する。学習可能および正弦波埋め込みを含むスカラー入力のための一般的な組込み手法の評価に焦点をあてた。
参考スコア（独自算出の注目度）: 31.339273092207353
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We conduct an empirical evaluation of extrapolation performance when conditioning on scalar control inputs like desired output length, desired edit from an input sentence, and desired sentiment across three text generation tasks. Specifically, we examine a zero-shot setting where models are asked to generalize to ranges of control values not seen during training. We focus on evaluating popular embedding methods for scalar inputs, including both learnable and sinusoidal embeddings, as well as simpler approaches. Surprisingly, our findings indicate that the simplest strategy of using scalar inputs directly, without further encoding, most reliably allows for successful extrapolation.
Abstract（参考訳）: 所望の出力長,入力文からの所望の編集,および3つのテキスト生成タスクにおける所望の感情といったスカラー制御入力を条件付ける際に,外挿性能を実証的に評価する。具体的には、トレーニング中に見えない範囲の制御値にモデルを一般化するよう依頼するゼロショット設定について検討する。学習可能な埋め込みと正弦波埋め込みの両方を含むスカラー入力に対する一般的な埋め込み手法の評価に焦点をあてる。驚くべきことに、我々の発見は、スカラー入力を直接使用する最も単純な戦略が、さらにエンコーディングすることなく、最も確実に外挿を成功させることを示している。

関連論文リスト

Sparse Autoencoders Enable Scalable and Reliable Circuit Identification in Language Models [0.0]
本稿では,大規模言語モデルにおける解釈可能な回路を発見するための,効率的かつ堅牢な手法を提案する。本稿では, 慎重に設計した正負の例に対して, スパースオートエンコーダを訓練する。本研究は,スケーラブルかつ効率的な機械的解釈性を実現するための離散スパースオートエンコーダの実現を示唆するものである。
論文参考訳（メタデータ） (2024-05-21T06:26:10Z)
Readout Guidance: Learning Control from Diffusion Features [96.22155562120231]
本稿では,学習信号を用いたテキスト・画像拡散モデル制御手法であるReadout Guidanceを提案する。 Readout Guidanceはリードアウトヘッドを使用し、トレーニング済みの凍結拡散モデルの特徴から信号を取り出すために訓練された軽量ネットワークである。これらの読み出しは、ポーズ、深さ、エッジなどのシングルイメージ特性や、対応性や外観類似性といった複数の画像に関連する高次特性を符号化することができる。
論文参考訳（メタデータ） (2023-12-04T18:59:32Z)
Understanding prompt engineering may not require rethinking generalization [56.38207873589642]
言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
論文参考訳（メタデータ） (2023-10-06T00:52:48Z)
Ethicist: Targeted Training Data Extraction Through Loss Smoothed Soft Prompting and Calibrated Confidence Estimation [56.57532238195446]
本研究では,対象とするトレーニングデータ抽出のためのEthicistという手法を提案する。メモリ化を誘発するため、モデルを固定しながらソフトなプロンプト埋め込みをチューニングする。我々は,最近提案された公開ベンチマークにおいて,エティシストが抽出性能を著しく向上することを示す。
論文参考訳（メタデータ） (2023-07-10T08:03:41Z)
Attributable and Scalable Opinion Summarization [79.87892048285819]
我々は、頻繁なエンコーディングを復号することで抽象的な要約を生成し、同じ頻繁なエンコーディングに割り当てられた文を選択して抽出的な要約を生成する。本手法は,要約プロセスの一部として要約を生成するために使用される文を同定するため,帰属的手法である。なぜなら、アグリゲーションはトークンの長いシーケンスではなく、潜在空間で実行されるからである。
論文参考訳（メタデータ） (2023-05-19T11:30:37Z)
Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control [27.214742188672464]
エンティティカバレッジ制御(ECC)を用いたエンティティレベルの幻覚の治療法を提案する。 ECCはエンティティカバレッジの精度を計算し、トレーニング例ごとに対応する制御コードをプリペンドする。提案手法は,教師付き微調整およびゼロショット設定において,より忠実かつ健全な抽象的要約をもたらすことを示す。
論文参考訳（メタデータ） (2022-07-05T18:52:19Z)
Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization [20.87460375478907]
テキスト要約は、入力テキストの短い要約を生成することを目的としている。本研究では,非自己回帰的教師なし要約手法を提案する。実験により、NAUSは教師なし要約の最先端性能を達成することが示された。
論文参考訳（メタデータ） (2022-05-28T21:09:23Z)
Out-of-Scope Intent Detection with Self-Supervision and Discriminative Training [20.242645823965145]
タスク指向対話システムにおいて、スコープ外インテント検出は実用上重要である。本稿では,テストシナリオをシミュレートして,スコープ外インテント分類器をエンドツーエンドに学習する手法を提案する。提案手法を4つのベンチマーク・ダイアログ・データセット上で広範囲に評価し,最先端のアプローチに対する大幅な改善を観察する。
論文参考訳（メタデータ） (2021-06-16T08:17:18Z)
Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
論文参考訳（メタデータ） (2020-10-07T03:34:01Z)
Few-Shot Learning for Opinion Summarization [117.70510762845338]
オピニオン要約は、複数の文書で表現された主観的な情報を反映したテキストの自動生成である。本研究では,要約テキストの生成をブートストラップするのには,少数の要約でも十分であることを示す。提案手法は, 従来の抽出法および抽象法を, 自動的, 人的評価において大きく上回っている。
論文参考訳（メタデータ） (2020-04-30T15:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。