論文の概要: Bootstrapping Cognitive Agents with a Large Language Model
- arxiv url: http://arxiv.org/abs/2403.00810v1
- Date: Sun, 25 Feb 2024 01:40:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 00:00:53.374891
- Title: Bootstrapping Cognitive Agents with a Large Language Model
- Title(参考訳): 大規模言語モデルを用いたブートストラップ認知エージェント
- Authors: Feiyu Zhu, Reid Simmons
- Abstract要約: 大規模な言語モデルは、世界の騒々しい一般的な知識を含んでいるが、訓練や微調整は困難である。
この研究では、認知モデルと大きな言語モデルで符号化されたノイズの多い知識をブートストラップで組み合わせます。
- 参考スコア(独自算出の注目度): 0.9971537447334835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models contain noisy general knowledge of the world, yet are
hard to train or fine-tune. On the other hand cognitive architectures have
excellent interpretability and are flexible to update but require a lot of
manual work to instantiate. In this work, we combine the best of both worlds:
bootstrapping a cognitive-based model with the noisy knowledge encoded in large
language models. Through an embodied agent doing kitchen tasks, we show that
our proposed framework yields better efficiency compared to an agent based
entirely on large language models. Our experiments indicate that large language
models are a good source of information for cognitive architectures, and the
cognitive architecture in turn can verify and update the knowledge of large
language models to a specific domain.
- Abstract(参考訳): 大きな言語モデルは世界の騒々しい一般的な知識を含んでいるが、訓練や微調整は難しい。
一方、認知アーキテクチャは優れた解釈性を持ち、更新は柔軟ですが、インスタンス化には多くの手動作業が必要です。
この研究では、認知モデルと大きな言語モデルで符号化されたノイズの多い知識をブートストラップで組み合わせます。
キッチンタスクを行う具体化エージェントを通じて,提案するフレームワークが,大規模言語モデルに基づくエージェントよりも優れた効率をもたらすことを示す。
我々の実験は、大規模言語モデルは認知アーキテクチャの優れた情報源であり、認知アーキテクチャは、大規模言語モデルの知識を特定のドメインに検証し更新することができることを示している。
関連論文リスト
- Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。
エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。
我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
論文 参考訳(メタデータ) (2024-06-26T17:59:18Z) - CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。
CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
論文 参考訳(メタデータ) (2024-04-03T02:21:46Z) - Opening the black box of language acquisition [0.0]
我々は、学習言語のための、より透明で認知的に妥当なアーキテクチャを提案する。
ディープラーニングの代わりに、シーケンスメモリとチャンキングに基づいた最小限の認知アーキテクチャを使用します。
その結果、モデルがこれらの人工言語をスクラッチから学習し、学習を支援する文法情報を抽出できることが示唆された。
論文 参考訳(メタデータ) (2024-02-18T19:11:58Z) - Diffusion Language Models Can Perform Many Tasks with Scaling and
Instruction-Finetuning [56.03057119008865]
拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。
大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。
実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
論文 参考訳(メタデータ) (2023-08-23T16:01:12Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。
LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。
実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文 参考訳(メタデータ) (2022-08-12T18:59:37Z) - Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。
事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する
インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:34:22Z) - Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.29555551279155]
大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。
このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。
低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
論文 参考訳(メタデータ) (2022-04-04T17:57:11Z) - Language Models are not Models of Language [0.0]
トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。
深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
論文 参考訳(メタデータ) (2021-12-13T22:39:46Z) - Language Models as a Knowledge Source for Cognitive Agents [9.061356032792954]
言語モデル (LM) は大量のコーパスで訓練された文補完エンジンである。
本稿では,認知システムのための新たな知識源として言語モデルを用いる上での課題と機会について概説する。
また、認知システムが提供する能力を用いて、言語モデルからの知識抽出を改善する方法も特定する。
論文 参考訳(メタデータ) (2021-09-17T01:12:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。