Fugu-MT 論文翻訳(概要): Construct a Sentence with Multiple Specified Words

論文の概要: Construct a Sentence with Multiple Specified Words

arxiv url: http://arxiv.org/abs/2206.12565v1
Date: Sat, 25 Jun 2022 05:49:51 GMT
ステータス: 処理完了
システム内更新日: 2022-06-28 12:49:09.955408
Title: Construct a Sentence with Multiple Specified Words
Title（参考訳）: 複数の特定単語による文構成
Authors: Yuanliang Meng
Abstract要約: 本稿では,任意の単語集合から文を作成できるように,BARTモデルを微調整する作業を示す。訓練課題は、4つの単語で文章を作成することであるが、訓練されたモデルは、より少ない単語が提供されると文を生成することができる。
参考スコア（独自算出の注目度）: 1.8782750537161608
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper demonstrates a task to finetune a BART model so it can construct a sentence from an arbitrary set of words, which used to be a difficult NLP task. The training task is making sentences with four words, but the trained model can generate sentences when fewer or more words are provided. The output sentences have high quality in general. The model can have some real-world applications, and this task can be used as an evaluation mechanism for any language model as well.
Abstract（参考訳）: 本稿では,難解なnlpタスクであった任意の単語集合から文を構築できるように,bartモデルを微調整するタスクを示す。訓練タスクは4つの単語からなる文を作成するが、訓練されたモデルは、より少ない単語が提供されたときに文を生成することができる。出力文は一般に高品質である。このモデルは実世界のアプリケーションを持つことができ、このタスクは任意の言語モデルの評価メカニズムとしても使用できる。

関連論文リスト

Forcing Diffuse Distributions out of Language Models [70.28345569190388]
ユーザ命令に従うように特別に訓練されているにもかかわらず、今日の命令付き言語モデルは、ランダムな出力を生成するように指示された場合、性能が良くない。本稿では,言語モデルに有効な結果に対して拡散した分布を出力することを奨励する微調整手法を提案する。
論文参考訳（メタデータ） (2024-04-16T19:17:23Z)
Low-Cost Generation and Evaluation of Dictionary Example Sentences [2.3927685342928466]
我々は、既存のオックスフォード辞書文に対して生成された文の勝利率を測定する、OxfordEvalと呼ばれる新しい自動評価指標を導入する。単語の意味を最もよく表す文を識別し、選択するために、マスク付き言語モデルを用いた新しいアプローチでこれを補完する。最終的なモデルであるFM-MLMはオックスフォードの基準文に対して85.1%以上の勝利率を達成したが、以前のモデル生成文では39.8%の勝利率であった。
論文参考訳（メタデータ） (2024-04-09T11:26:59Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
Training Effective Neural Sentence Encoders from Automatically Mined Paraphrases [0.0]
そこで本稿では,手動でラベル付けしたデータを用いずに,効果的な言語固有文エンコーダを訓練する手法を提案する。本研究の目的は,文の一致したバイリンガルテキストコーパスからパラフレーズペアのデータセットを自動構築することである。文エンコーダは1枚のグラフィックカードで1日以内で訓練でき、多種多様な文レベルのタスクで高い性能を達成できる。
論文参考訳（メタデータ） (2022-07-26T09:08:56Z)
Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
論文参考訳（メタデータ） (2022-01-28T02:33:07Z)
Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文参考訳（メタデータ） (2021-12-16T05:36:08Z)
Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
論文参考訳（メタデータ） (2021-10-15T17:08:57Z)
Dict-BERT: Enhancing Language Model Pre-training with Dictionary [42.0998323292348]
事前学習型言語モデル(PLM)は,大規模コーパス上で自己指導型学習タスクを行うことで,普遍的な言語表現を学習することを目的としている。本研究では,辞書におけるレアワードの定義を活用することで,言語モデル事前学習の強化に焦点をあてる。入力テキストシーケンスとまれな単語定義間の単語と文レベルのアライメントに関する2つの新しい自己教師付き事前学習タスクを提案する。
論文参考訳（メタデータ） (2021-10-13T04:29:14Z)
Studying word order through iterative shuffling [14.530986799844873]
NLPベンチマークタスクの実行には,単語順序エンコードが不可欠であることを示す。我々は、固定言語モデルの下で最も高い確率を持つ単語の袋を注文する、新しい効率的な手続きであるBISを使用する。 IBISのような推論手順のシャッフルが言語モデリングや制約付き生成にどのように役立つかについて議論する。
論文参考訳（メタデータ） (2021-09-10T13:27:06Z)
Toward Better Storylines with Sentence-Level Language Models [54.91921545103256]
本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
論文参考訳（メタデータ） (2020-05-11T16:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。