論文の概要: Blank Language Models
- arxiv url: http://arxiv.org/abs/2002.03079v2
- Date: Tue, 17 Nov 2020 02:54:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 22:21:47.501360
- Title: Blank Language Models
- Title（参考訳）: 空白言語モデル
- Authors: Tianxiao Shen, Victor Quach, Regina Barzilay, Tommi Jaakkola
- Abstract要約: ブランク言語モデル(BLM)は、空白を動的に生成・充填することでシーケンスを生成する。
空白はシーケンスのどの部分が拡張されるべきかを制御し、BLMは様々なテキスト編集や書き換えタスクに最適である。
- 参考スコア（独自算出の注目度）: 29.04713533333105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Blank Language Model (BLM), a model that generates sequences by
dynamically creating and filling in blanks. The blanks control which part of
the sequence to expand, making BLM ideal for a variety of text editing and
rewriting tasks. The model can start from a single blank or partially completed
text with blanks at specified locations. It iteratively determines which word
to place in a blank and whether to insert new blanks, and stops generating when
no blanks are left to fill. BLM can be efficiently trained using a lower bound
of the marginal data likelihood. On the task of filling missing text snippets,
BLM significantly outperforms all other baselines in terms of both accuracy and
fluency. Experiments on style transfer and damaged ancient text restoration
demonstrate the potential of this framework for a wide range of applications.
- Abstract（参考訳）: Blank Language Model (BLM) は,ブランクを動的に生成・充填することでシーケンスを生成するモデルである。
空白はシーケンスのどの部分が拡張されるべきかを制御し、BLMは様々なテキスト編集や書き換えタスクに最適である。
モデルは、特定の場所で空白のある1つの空白または部分的に完成したテキストから始めることができる。
空白にどの単語を置くか、新しい空白を挿入するかを反復的に決定し、空白が空白を埋めることなく生成を停止する。
BLMは、限界データ確率の低い境界を用いて効率的に訓練することができる。
欠落したテキストスニペットを埋める作業において、BLMは他のすべてのベースラインを精度と流線型の両方で大幅に上回っている。
スタイル転送と破損した古代のテキスト復元の実験は、このフレームワークの幅広い応用の可能性を示している。
関連論文リスト
- Idiosyncrasies in Large Language Models [54.26923012617675]
大規模言語モデル(LLM)における慣用句の公開と研究
LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。
我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
論文 参考訳（メタデータ） (2025-02-17T18:59:02Z) - Following the Autoregressive Nature of LLM Embeddings via Compression and Alignment [69.67015515485349]
本稿では,条件付き確率分布を埋め込んだコントラスト学習手法であるAutoRegEmbedを提案する。
本手法は従来のコントラスト学習手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-02-17T03:36:25Z) - FDLLM: A Text Fingerprint Detection Method for LLMs in Multi-Language, Multi-Domain Black-Box Environments [18.755880639770755]
大きな言語モデル(LLM)を使用することで、潜在的なセキュリティリスクが生じる可能性がある。
攻撃者は、このブラックボックスシナリオを利用して悪意のあるモデルをデプロイし、ユーザに提供されるコードにウイルスを埋め込むことができる。
本稿では,Qwen2.5-7Bに基づく最初のLLMGT指紋検出モデルである textbfFDLLM を提案する。
論文 参考訳（メタデータ） (2025-01-27T13:18:40Z) - On Unsupervised Prompt Learning for Classification with Black-box Language Models [71.60563181678323]
大規模言語モデル(LLM)は、テキスト形式学習問題において顕著な成功を収めた。
LLMは、熟練した人間のアノテータよりも品質の高いデータセットをラベル付けすることができる。
本稿では,ブラックボックス LLM を用いた分類のための教師なしのプロンプト学習を提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z) - Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。
意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。
本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:10:35Z) - TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models [69.49978333446538]
TEALは任意のモダリティからの入力をトークンシーケンスとして扱うアプローチである。
トークンシーケンスを学習可能な埋め込み行列で結合埋め込み空間に埋め込む。
実験により、TEALはマルチモーダル理解を大幅に改善することが示された。
論文 参考訳（メタデータ） (2023-11-08T10:34:16Z) - FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。
推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。
FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
論文 参考訳（メタデータ） (2023-10-15T19:37:39Z) - Beyond prompting: Making Pre-trained Language Models Better Zero-shot
Learners by Clustering Representations [24.3378487252621]
事前学習した言語モデルの埋め込み空間にテキストをクラスタリングすることで、ゼロショットテキスト分類を改善することができることを示す。
提案手法は, 即発的なゼロショット学習よりも平均20%絶対的な改善を実現している。
論文 参考訳（メタデータ） (2022-10-29T16:01:51Z) - The Case for a Single Model that can Both Generate Continuations and
Fill in the Blank [24.508219356439653]
本研究では、FitBスタイルの目標で事前訓練されたモデルが両方のタスクをこなせる一方で、継続のために事前訓練されたモデルがそうでないことを示す。
また、FitBモデルを簡単に微調整し、生成元の長さや単語の選択をきめ細かな制御を可能にする方法を示す。
論文 参考訳（メタデータ） (2022-06-09T23:39:19Z) - Enabling Language Models to Fill in the Blanks [81.59381915581892]
文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。
我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。
言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
論文 参考訳（メタデータ） (2020-05-11T18:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。