論文の概要: Learning to Plan for Language Modeling from Unlabeled Data
- arxiv url: http://arxiv.org/abs/2404.00614v2
- Date: Wed, 31 Jul 2024 12:25:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 20:15:23.105165
- Title: Learning to Plan for Language Modeling from Unlabeled Data
- Title（参考訳）: ラベルのないデータから言語モデリングを計画するための学習
- Authors: Nathan Cornille, Marie-Francine Moens, Florian Mai,
- Abstract要約: 我々は,自己指導型学習目標を用いて,将来の執筆プロセスを計画するためのモジュールを訓練する。
テキストコンテキストを考えると、この計画モジュールは、クラスタ化されたテキスト埋め込み空間のセントロイドに対応する、将来の抽象的な書き込みアクションを予測することを学習する。
- 参考スコア（独自算出の注目度）: 23.042650737356496
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By training to predict the next token in an unlabeled corpus, large language models learn to perform many tasks without any labeled data. However, their next-token-prediction objective arguably limits their performance in scenarios that require planning, such as writing a coherent article. In this paper, we train a module for planning the future writing process via a self-supervised learning objective. Given the textual context, this planning module learns to predict future abstract writing actions, which correspond to centroids in a clustered text embedding space. By conditioning on these actions, our model extends the successful language model formula to more abstract planning in an unsupervised way. Empirically, we demonstrate that our method improves language modeling performance in general, particularly with respect to the text structure. Because our framework uses a planner module that is unsupervised and external to the language model, new planner modules can be trained at large scale and easily be shared with the community.
- Abstract（参考訳）: ラベルのないコーパスで次のトークンを予測するトレーニングによって、大きな言語モデルはラベル付きデータなしで多くのタスクを実行することを学ぶ。
しかしながら、彼らの次のToken-Predictionの目標は、コヒーレントな記事を書くなど、計画を必要とするシナリオにおけるパフォーマンスを確実に制限する。
本稿では,自己指導型学習目標を用いて,将来の執筆プロセスを計画するためのモジュールを訓練する。
テキストコンテキストを考えると、この計画モジュールは、クラスタ化されたテキスト埋め込み空間のセントロイドに対応する、将来の抽象的な書き込みアクションを予測することを学習する。
これらの動作を条件づけることで、我々のモデルは、成功した言語モデルの公式を、教師なしの方法でより抽象的な計画へと拡張する。
実験により,本手法は,特にテキスト構造に関して,言語モデルの性能を全般的に向上させることを示した。
我々のフレームワークは、教師なしで言語モデル外部のプランナーモジュールを使っているので、新しいプランナーモジュールは大規模に訓練でき、コミュニティと簡単に共有できる。
関連論文リスト
- PARADISE: Evaluating Implicit Planning Skills of Language Models with Procedural Warnings and Tips Dataset [0.0]
PARADISE は,wikiHow をベースとした実践的な手続きテキスト上で,Q&A 形式を用いた帰納的推論タスクである。
計画の暗黙的な知識を与えられた目標からのみ推論するモデルの能力をテストすることを目的として、中間的なステップを除く、目標に直接関連した警告およびヒント推論タスクを含む。
我々の実験は、微調整言語モデルとゼロショットプロンプトを利用して、ほとんどのシナリオにおいて、大規模言語モデルに対するタスク固有小モデルの有効性を明らかにした。
論文 参考訳（メタデータ） (2024-03-05T18:01:59Z) - CI w/o TN: Context Injection without Task Name for Procedure Planning [4.004155037293416]
指導ビデオにおけるプロシージャ計画には、ビデオからの視覚的なスタートとゴール観察に基づいて、ゴール指向のプランを作成することが含まれる。
従来の研究では、中間的な視覚観察や言語指導からタスククラスの監督に至るまで、徐々に訓練の監督を弱めることでこの問題に対処してきた。
既存の大規模言語モデルでは解決不可能なタスク名を監視対象として含まない,はるかに弱い設定を提案する。
論文 参考訳（メタデータ） (2024-02-23T19:34:47Z) - PlaSma: Making Small Language Models Better Procedural Knowledge Models for (Counterfactual) Planning [77.03847056008598]
PlaSmaは、手続き的な知識と(制約のある)言語計画能力を持つ小さな言語モデルを実現するための、新しい2段階のアプローチである。
我々は,小言語モデルにおけるコモンセンス知識を高めるための記号的手続き的知識蒸留法と,より構造化された正確な推論を容易にする推論時アルゴリズムを開発する。
論文 参考訳（メタデータ） (2023-05-31T00:55:40Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-05-16T03:38:06Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳（メタデータ） (2022-10-23T00:37:08Z) - Few-shot Subgoal Planning with Language Models [58.11102061150875]
事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。
サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
論文 参考訳（メタデータ） (2022-05-28T01:03:30Z) - DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。
我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。
10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
論文 参考訳（メタデータ） (2022-05-21T00:58:22Z) - Text-Based Action-Model Acquisition for Planning [13.110360825201044]
本稿では,制約満足度と自然言語処理技術を統合することによって,自然言語テキストからアクションモデルを学ぶための新しいアプローチを提案する。
具体的には、まず、テキストからプラントレースを抽出する新しい言語モデルを構築し、それから抽出したプラントレースに基づいてアクションモデルを生成するための制約セットを構築します。
論文 参考訳（メタデータ） (2022-02-15T02:23:31Z) - Truth-Conditional Captioning of Time Series Data [34.65925116012727]
本稿では,時系列における有能なパターンの自然言語記述を自動的に生成する作業について検討する。
このタスクのモデルは、ピークやディップのような高レベルなパターンを抽出できるはずである。
本稿では,まず入力時系列上で学習プログラムを実行する真理条件付き計算モデルを提案する。
提案モデルでは,モジュール型の小型かつ簡易な空間を考慮した場合であっても,高精度なキャプションを生成可能であることがわかった。
論文 参考訳（メタデータ） (2021-10-05T06:28:37Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。