論文の概要: Few-shot Subgoal Planning with Language Models

• arxiv url: http://arxiv.org/abs/2205.14288v1
• Date: Sat, 28 May 2022 01:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-05 01:55:02.707000
• Title: Few-shot Subgoal Planning with Language Models
• Title（参考訳）: 言語モデルを用いたマイナショットサブゴール計画
• Authors: Lajanugen Logeswaran, Yao Fu, Moontae Lee, Honglak Lee
• Abstract要約: 事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
• 参考スコア（独自算出の注目度）: 58.11102061150875
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-trained large language models have shown successful progress in many language understanding benchmarks. This work explores the capability of these models to predict actionable plans in real-world environments. Given a text instruction, we show that language priors encoded in pre-trained language models allow us to infer fine-grained subgoal sequences. In contrast to recent methods which make strong assumptions about subgoal supervision, our experiments show that language models can infer detailed subgoal sequences from few training sequences without any fine-tuning. We further propose a simple strategy to re-rank language model predictions based on interaction and feedback from the environment. Combined with pre-trained navigation and visual reasoning components, our approach demonstrates competitive performance on subgoal prediction and task completion in the ALFRED benchmark compared to prior methods that assume more subgoal supervision.
• Abstract（参考訳）: 事前訓練された大規模言語モデルは、多くの言語理解ベンチマークで成功している。 本研究は,実環境における行動計画の予測能力について検討する。 テキスト命令が与えられた場合、事前訓練された言語モデルにエンコードされた言語は、きめ細かいサブゴール列を推測できることを示す。 近年のサブゴナル・インスペクションを強く仮定する手法とは対照的に,本実験では,微調整の必要なく,少数のトレーニングシーケンスから詳細なサブゴラル・シーケンスを推論できる言語モデルを示した。 さらに,環境からのインタラクションとフィードバックに基づいて,言語モデル予測を再現する簡単な手法を提案する。 事前学習したナビゲーションと視覚的推論コンポーネントを組み合わせることで,ALFREDベンチマークにおけるサブゴール予測とタスク完了の競合性能を,よりサブゴールの監督を前提とした従来の手法と比較した。

関連論文リスト

• Cross-Lingual Supervision improves Large Language Models Pre-training [36.932380291416365]
  自己教師型言語モデリング目標と教師型機械翻訳目標の混合による事前学習により,文脈内学習能力のよいモデルが得られることを示す。 事前学習は非常に資源集約的なプロセスであり、2つの目標間の最良の混合比のグリッド探索は違法にコストがかかるため、事前学習時に学習するためのシンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-19T16:14:07Z)
• Towards Linguistically Informed Multi-Objective Pre-Training for Natural Language Inference [0.38233569758620045]
  本稿では,トランスのための事前学習手法を言語的に強化した組み合わせを提案する。 事前トレーニング対象にはPOSタグ付け、セマンティック知識グラフに基づく構文予測、依存性解析木に基づく親予測が含まれる。 提案手法は, 自然言語推論タスクにおいて, 技術状況と比較して, 競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-12-14T10:50:13Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Language Models are Few-shot Multilingual Learners [66.11011385895195]
  我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。 文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
  論文  参考訳（メタデータ） (2021-09-16T03:08:22Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。