論文の概要: Blank Language Models
- arxiv url: http://arxiv.org/abs/2002.03079v2
- Date: Tue, 17 Nov 2020 02:54:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 22:21:47.501360
- Title: Blank Language Models
- Title（参考訳）: 空白言語モデル
- Authors: Tianxiao Shen, Victor Quach, Regina Barzilay, Tommi Jaakkola
- Abstract要約: ブランク言語モデル(BLM)は、空白を動的に生成・充填することでシーケンスを生成する。
空白はシーケンスのどの部分が拡張されるべきかを制御し、BLMは様々なテキスト編集や書き換えタスクに最適である。
- 参考スコア（独自算出の注目度）: 29.04713533333105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Blank Language Model (BLM), a model that generates sequences by
dynamically creating and filling in blanks. The blanks control which part of
the sequence to expand, making BLM ideal for a variety of text editing and
rewriting tasks. The model can start from a single blank or partially completed
text with blanks at specified locations. It iteratively determines which word
to place in a blank and whether to insert new blanks, and stops generating when
no blanks are left to fill. BLM can be efficiently trained using a lower bound
of the marginal data likelihood. On the task of filling missing text snippets,
BLM significantly outperforms all other baselines in terms of both accuracy and
fluency. Experiments on style transfer and damaged ancient text restoration
demonstrate the potential of this framework for a wide range of applications.
- Abstract（参考訳）: Blank Language Model (BLM) は,ブランクを動的に生成・充填することでシーケンスを生成するモデルである。
空白はシーケンスのどの部分が拡張されるべきかを制御し、BLMは様々なテキスト編集や書き換えタスクに最適である。
モデルは、特定の場所で空白のある1つの空白または部分的に完成したテキストから始めることができる。
空白にどの単語を置くか、新しい空白を挿入するかを反復的に決定し、空白が空白を埋めることなく生成を停止する。
BLMは、限界データ確率の低い境界を用いて効率的に訓練することができる。
欠落したテキストスニペットを埋める作業において、BLMは他のすべてのベースラインを精度と流線型の両方で大幅に上回っている。
スタイル転送と破損した古代のテキスト復元の実験は、このフレームワークの幅広い応用の可能性を示している。
関連論文リスト
- On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。
LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。
本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z) - Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。
意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。
本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:10:35Z) - TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models [69.49978333446538]
TEALは任意のモダリティからの入力をトークンシーケンスとして扱うアプローチである。
トークンシーケンスを学習可能な埋め込み行列で結合埋め込み空間に埋め込む。
実験により、TEALはマルチモーダル理解を大幅に改善することが示された。
論文 参考訳（メタデータ） (2023-11-08T10:34:16Z) - FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。
推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。
FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
論文 参考訳（メタデータ） (2023-10-15T19:37:39Z) - Description-Based Text Similarity [59.552704474862004]
我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。
そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
論文 参考訳（メタデータ） (2023-05-21T17:14:31Z) - Beyond prompting: Making Pre-trained Language Models Better Zero-shot
Learners by Clustering Representations [24.3378487252621]
事前学習した言語モデルの埋め込み空間にテキストをクラスタリングすることで、ゼロショットテキスト分類を改善することができることを示す。
提案手法は, 即発的なゼロショット学習よりも平均20%絶対的な改善を実現している。
論文 参考訳（メタデータ） (2022-10-29T16:01:51Z) - The Case for a Single Model that can Both Generate Continuations and
Fill in the Blank [24.508219356439653]
本研究では、FitBスタイルの目標で事前訓練されたモデルが両方のタスクをこなせる一方で、継続のために事前訓練されたモデルがそうでないことを示す。
また、FitBモデルを簡単に微調整し、生成元の長さや単語の選択をきめ細かな制御を可能にする方法を示す。
論文 参考訳（メタデータ） (2022-06-09T23:39:19Z) - Pre-training via Paraphrasing [96.79972492585112]
教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。
ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。
例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
論文 参考訳（メタデータ） (2020-06-26T14:43:43Z) - Enabling Language Models to Fill in the Blanks [81.59381915581892]
文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。
我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。
言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
論文 参考訳（メタデータ） (2020-05-11T18:00:03Z) - Bootstrapping Weakly Supervised Segmentation-free Word Spotting through
HMM-based Alignment [0.5076419064097732]
ボックスアノテーションを行わずに書き起こしを利用して単語スポッティングモデルを訓練する手法を提案する。
これは、隠れマルコフモデルに基づいたトレーニング不要アライメント手順によって行われる。
デジタル転写データは、すでに多くの関心を集めている部分に対して存在するので、より一般的な単語スポッティングの活用に向けた大きな進歩であると考えています。
論文 参考訳（メタデータ） (2020-03-24T19:41:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。