論文の概要: lamBERT: Language and Action Learning Using Multimodal BERT

• arxiv url: http://arxiv.org/abs/2004.07093v1
• Date: Wed, 15 Apr 2020 13:54:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 02:37:16.517288
• Title: lamBERT: Language and Action Learning Using Multimodal BERT
• Title（参考訳）: lamBERT:マルチモーダルBERTを用いた言語とアクション学習
• Authors: Kazuki Miyazawa, Tatsuya Aoki, Takato Horii, and Takayuki Nagai
• Abstract要約: 本研究では,マルチモーダルBERT(lamBERT)モデルを用いた言語と行動学習を提案する。 実験は、エージェントが適切に振る舞うために言語理解を必要とするグリッド環境で行われる。 lamBERTモデルは、他のモデルと比較してマルチタスク設定や転送設定において高い報酬を得た。
• 参考スコア（独自算出の注目度）: 0.1942428068361014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the bidirectional encoder representations from transformers (BERT) model has attracted much attention in the field of natural language processing, owing to its high performance in language understanding-related tasks. The BERT model learns language representation that can be adapted to various tasks via pre-training using a large corpus in an unsupervised manner. This study proposes the language and action learning using multimodal BERT (lamBERT) model that enables the learning of language and actions by 1) extending the BERT model to multimodal representation and 2) integrating it with reinforcement learning. To verify the proposed model, an experiment is conducted in a grid environment that requires language understanding for the agent to act properly. As a result, the lamBERT model obtained higher rewards in multitask settings and transfer settings when compared to other models, such as the convolutional neural network-based model and the lamBERT model without pre-training.
• Abstract（参考訳）: 近年,変換器(BERT)モデルからの双方向エンコーダ表現が自然言語処理の分野で注目を集めている。 BERTモデルは,大規模コーパスを教師なしで事前学習することで,様々なタスクに適応可能な言語表現を学習する。 本研究では,マルチモーダルBERT(lamBERT)モデルを用いて,言語と行動の学習を可能にする言語と行動学習を提案する。 1) bert モデルをマルチモーダル表現に拡張し, 2)強化学習と統合する。 提案モデルを検証するために,エージェントが適切に行動するために言語理解を必要とするグリッド環境で実験を行う。 その結果、ランベルトモデルは、畳み込みニューラルネットワークモデルや事前学習を行わないランバートモデルなど、他のモデルと比較して、マルチタスク設定や転送設定でより高い報酬を得た。

関連論文リスト

• TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild [102.93338424976959]
  マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。 提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。 そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
  論文  参考訳（メタデータ） (2023-09-14T15:34:01Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• Bidirectional Language Models Are Also Few-shot Learners [54.37445173284831]
  SAP(Sequential Autoregressive Prompting)は,双方向モデルの高速化を実現する技術である。 SAPは質問応答と要約に有効であることを示す。 この結果から,より広範な言語モデルの創発的特性として,プロンプトに基づく学習が証明された。
  論文  参考訳（メタデータ） (2022-09-29T01:35:57Z)
• XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding [73.24847320536813]
  本研究では,事前学習したマルチモーダル変換器から事前学習した言語エンコーダへの視覚情報の蒸留について検討する。 我々のフレームワークは,NLUの言語重み特性に適応するために学習目標を変更する一方で,視覚言語タスクにおけるクロスモーダルエンコーダの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2022-04-15T03:44:00Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish [4.473327661758546]
  本論文では,ポーランド語に焦点をあてた最初のアブレーション研究について述べる。 多言語モデルから単言語モデルへの知識伝達の事前学習手順を設計・評価します。 提案された手順に基づいて、ポーランドのBERTベースの言語モデルであるHerBERTが訓練される。
  論文  参考訳（メタデータ） (2021-05-04T20:16:17Z)
• Towards Fully Bilingual Deep Language Modeling [1.3455090151301572]
  両言語のパフォーマンスを損なうことなく、2つの遠隔関連言語に対してバイリンガルモデルを事前学習することが可能かを検討する。 フィンランド英語のバイリンガルBERTモデルを作成し、対応するモノリンガルモデルを評価するために使用されるデータセットの性能を評価する。 我々のバイリンガルモデルは、GLUE上のGoogleのオリジナル英語BERTと同等に動作し、フィンランドのNLPタスクにおける単言語フィンランドBERTのパフォーマンスとほぼ一致します。
  論文  参考訳（メタデータ） (2020-10-22T12:22:50Z)
• Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks [1.2691047660244335]
  BERT (Bidirectional Representations from Transformers) と ALBERT (A Lite BERT) は、言語モデルの事前学習方法である。 ポルトガルでトレーニングされたBERTとAlbertモデルを利用可能にしています。
  論文  参考訳（メタデータ） (2020-07-19T19:13:20Z)
• WikiBERT models: deep transfer learning for many languages [1.3455090151301572]
  ウィキペディアデータから言語固有のBERTモデルを作成するための、単純で完全に自動化されたパイプラインを導入します。 我々は,これらのモデルの有効性を,Universal Dependenciesデータに基づく最先端のUDifyを用いて評価する。
  論文  参考訳（メタデータ） (2020-06-02T11:57:53Z)
• InterBERT: Vision-and-Language Interaction for Multi-modal Pretraining [76.32065400614162]
  我々は,本シリーズのマルチモーダル事前学習手法M6の最初のモデルであるInterBERT(BERT for Interaction)を提案する。 モデルは、異なるモダリティの情報フロー間の相互作用をモデル化する強力な能力を持っている。 中国語におけるマルチモーダル事前学習のための大規模データセットを提案し,中国初のマルチモーダル事前学習モデルである中国語InterBERTを開発した。
  論文  参考訳（メタデータ） (2020-03-30T03:13:22Z)
• What the [MASK]? Making Sense of Language-Specific BERT Models [39.54532211263058]
  本稿では,言語固有のBERTモデルにおける技術の現状について述べる。 本研究の目的は,言語固有のBERTモデルとmBERTモデルとの共通点と相違点について概説することである。
  論文  参考訳（メタデータ） (2020-03-05T20:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。