論文の概要: A Data Source for Reasoning Embodied Agents
- arxiv url: http://arxiv.org/abs/2309.07974v1
- Date: Thu, 14 Sep 2023 18:17:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 17:07:35.018516
- Title: A Data Source for Reasoning Embodied Agents
- Title(参考訳): 具体化エージェントの推論のためのデータソース
- Authors: Jack Lanchantin, Sainbayar Sukhbaatar, Gabriel Synnaeve, Yuxuan Sun,
Kavya Srinet, Arthur Szlam
- Abstract要約: エンボディエージェントと統合されたマシン推論のための新しいデータジェネレータを提案する。
生成されたデータはテンプレート化されたテキストクエリと回答で構成され、データベースにエンコードされた世界状態にマッチする。
これらのモデルでは、世界国家に関するいくつかの質問に答えることができますが、他の人と戦っています。
- 参考スコア(独自算出の注目度): 44.72605392564578
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in using machine learning models for reasoning tasks has been
driven by novel model architectures, large-scale pre-training protocols, and
dedicated reasoning datasets for fine-tuning. In this work, to further pursue
these advances, we introduce a new data generator for machine reasoning that
integrates with an embodied agent. The generated data consists of templated
text queries and answers, matched with world-states encoded into a database.
The world-states are a result of both world dynamics and the actions of the
agent. We show the results of several baseline models on instantiations of
train sets. These include pre-trained language models fine-tuned on a
text-formatted representation of the database, and graph-structured
Transformers operating on a knowledge-graph representation of the database. We
find that these models can answer some questions about the world-state, but
struggle with others. These results hint at new research directions in
designing neural reasoning models and database representations. Code to
generate the data will be released at github.com/facebookresearch/neuralmemory
- Abstract(参考訳): タスクを推論するために機械学習モデルを使用する最近の進歩は、新しいモデルアーキテクチャ、大規模事前学習プロトコル、微調整のための専用推論データセットによって推進されている。
本稿では,これらの進歩をさらに追求するために,具体化エージェントと統合した機械推論のための新しいデータジェネレータを提案する。
生成されたデータはテンプレート化されたテキストクエリと回答で構成され、データベースにエンコードされた世界状態とマッチする。
世界状態は、世界動力学とエージェントの行動の両方の結果である。
列車のインスタンス化に関するいくつかのベースラインモデルの結果を示す。
これには、データベースのテキストフォーマット表現に基づいて微調整された事前学習言語モデルと、データベースの知識グラフ表現で動作するグラフ構造化トランスフォーマーが含まれる。
これらのモデルでは、世界国家に関するいくつかの質問に答えることができますが、他の人と戦っています。
これらの結果は、ニューラル推論モデルとデータベース表現を設計する新しい研究の方向性を示唆する。
データを生成するコードはgithub.com/facebookresearch/neuralmemoryでリリースされる
関連論文リスト
- GSAP-NER: A Novel Task, Corpus, and Baseline for Scholarly Entity
Extraction Focused on Machine Learning Models and Datasets [3.9169112083667073]
学術的な文章では、機械学習モデルとデータセットへの参照が基本的なコンポーネントである。
既存の真理データセットは、MLモデルやモデルアーキテクチャのようなきめ細かい型を別々のエンティティタイプとして扱わない。
MLモデルとデータセットを中心とした10のエンティティタイプを対象とした,100のコーパスを手動でアノテートしたフルテキストの科学出版物と,最初のベースラインモデルをリリースする。
論文 参考訳(メタデータ) (2023-11-16T12:43:02Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳(メタデータ) (2023-11-02T01:51:43Z) - Retrieval-Based Transformer for Table Augmentation [14.460363647772745]
我々は、自動データラングリングに対する新しいアプローチを導入する。
本研究の目的は,行数や列数,データ計算などのテーブル拡張タスクに対処することである。
我々のモデルは、教師付き統計手法と最先端のトランスフォーマーベースモデルの両方より一貫して、実質的に優れています。
論文 参考訳(メタデータ) (2023-06-20T18:51:21Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - A new hope for network model generalization [66.5377859849467]
ネットワークトラフィックダイナミクスのための機械学習モデルを一般化することは、失われた原因とみなされる傾向がある。
_Transformer_と呼ばれるMLアーキテクチャは、これまで想像不可能だった他のドメインでの一般化を可能にした。
パケットトレースからネットワークダイナミクスを学習するためのNTT(Network Traffic Transformer)を提案する。
論文 参考訳(メタデータ) (2022-07-12T21:16:38Z) - InPars: Data Augmentation for Information Retrieval using Large Language
Models [5.851846467503597]
本研究では,大規模な事前学習型言語モデルの,情報検索タスクのための合成データ生成機能を利用する。
我々は、教師なしデータセットのみに微調整されたモデルが、BM25のような強力なベースラインより優れていることを示す。
教師付きデータと我々の合成データの両方に微調整されたレトリバーは、教師付きデータにのみ微調整されたモデルよりも優れたゼロショット転送を実現する。
論文 参考訳(メタデータ) (2022-02-10T16:52:45Z) - Learning Contextual Representations for Semantic Parsing with
Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。
実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文 参考訳(メタデータ) (2020-12-18T15:53:50Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。