論文の概要: Paraphrasing via Ranking Many Candidates
- arxiv url: http://arxiv.org/abs/2107.09274v1
- Date: Tue, 20 Jul 2021 06:24:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 21:35:43.883525
- Title: Paraphrasing via Ranking Many Candidates
- Title(参考訳): 多くの候補のランク付けによるパラフレーズ化
- Authors: Joosung Lee
- Abstract要約: 本稿では,様々なパラフレーズを簡便かつ効果的に生成し,その中から良質なパラフレーズを見出す方法を提案する。
生成モデルと復号化オプションの組合せが1つしかないと仮定するのではなく、複数の候補から最適な候補を見つけることに注力する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a simple and effective way to generate a variety of paraphrases
and find a good quality paraphrase among them. As in previous studies, it is
difficult to ensure that one generation method always generates the best
paraphrase in various domains. Therefore, we focus on finding the best
candidate from multiple candidates, rather than assuming that there is only one
combination of generative models and decoding options. Our approach shows that
it is easy to apply in various domains and has sufficiently good performance
compared to previous methods. In addition, our approach can be used for data
agumentation that extends the downstream corpus, showing that it can help
improve performance in English and Korean datasets.
- Abstract(参考訳): 様々なパラフレーズを簡便かつ効果的に生成し,その中から高品質なパラフレーズを見出す方法を提案する。
これまでの研究ではそうであるように、一つの生成法が常に様々な領域で最高のパラフレーズを生成することは困難である。
したがって、生成モデルと復号化オプションの組み合わせが1つしかないと仮定するのではなく、複数の候補から最適な候補を見つけることに注力する。
提案手法は, 様々な領域に適用が容易であり, 従来の手法に比べて十分な性能を有することを示す。
さらに、我々のアプローチは、下流コーパスを拡張し、英語と韓国のデータセットのパフォーマンス向上に役立つことを示すデータアグメンテーションに使用することができる。
関連論文リスト
- Investigating on RLHF methodology [0.0]
本稿では,人間の嗜好をシミュレートする選好モデル(Preference Model)の訓練の特徴と,最良の結果を達成する上で不可欠な方法や詳細について論じる。
また、強化学習(Reinforcement Learning)を用いて大規模言語モデルを微調整し、直面した課題と克服方法を説明する。
論文 参考訳(メタデータ) (2024-10-02T17:46:22Z) - Large Language Models Prompting With Episodic Memory [53.8690170372303]
本稿では,POEM(PrOmpting with Episodic Memory)を提案する。
テストフェーズでは、各テストクエリのサンプルのシーケンスを最適化し、エピソードメモリにおけるトップkで最も類似したトレーニング例から最も高い合計報酬を得るシーケンスを選択する。
その結果,POEMはテキスト分類タスクにおいてTEMPERAやRLPromptといった最近の技術よりも5.3%向上していることがわかった。
論文 参考訳(メタデータ) (2024-08-14T11:19:28Z) - Curriculum Direct Preference Optimization for Diffusion and Consistency Models [110.08057135882356]
テキスト・ツー・イメージ・ジェネレーションのためのカリキュラム学習に基づくDPOの新しい拡張版を提案する。
我々のアプローチであるCurriculum DPOは、3つのベンチマークにおける最先端の微調整手法と比較される。
論文 参考訳(メタデータ) (2024-05-22T13:36:48Z) - Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳(メタデータ) (2024-02-27T14:16:19Z) - Strings from the Library of Babel: Random Sampling as a Strong Baseline for Prompt Optimisation [27.179705734077388]
近年のプロンプト最適化手法は、言語モデルの生成特性を利用してプロンプトを生成する。
モデルの語彙から「セパレータ」としてランダムにトークンをサンプリングすることは、プロンプトスタイルのテキスト分類のための言語モデルと同じくらい効果的であることを示す。
論文 参考訳(メタデータ) (2023-11-16T05:08:33Z) - Get the gist? Using large language models for few-shot
decontextualization [3.2271521193192734]
本稿では,大規模言語モデルを用いたデコンテクスト化手法を提案する。
本手法は,少数の例のみを用いて,複数の領域で実行可能な性能を実現する。
論文 参考訳(メタデータ) (2023-10-10T02:00:00Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - Pre-training via Paraphrasing [96.79972492585112]
教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。
ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。
例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
論文 参考訳(メタデータ) (2020-06-26T14:43:43Z) - Toward Better Storylines with Sentence-Level Language Models [54.91921545103256]
本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。
教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2020-05-11T16:54:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。