Fugu-MT 論文翻訳(概要): CoLLIE: Continual Learning of Language Grounding from Language-Image Embeddings

論文の概要: CoLLIE: Continual Learning of Language Grounding from Language-Image Embeddings

arxiv url: http://arxiv.org/abs/2111.07993v1
Date: Mon, 15 Nov 2021 18:54:58 GMT
ステータス: 処理完了
システム内更新日: 2021-11-16 15:19:31.206561
Title: CoLLIE: Continual Learning of Language Grounding from Language-Image Embeddings
Title（参考訳）: collie: 画像埋め込みによる言語基盤の継続的学習
Authors: Gabriel Skantze and Bram Willemsen
Abstract要約: CoLLIEは、言語がどのように視覚に根ざされているかの継続的な学習のモデルである。新しい言語の使用に対応するために必要な言語埋め込みを調整する変換関数を学習する。ごく少数の例から,CoLLIEが効率的に学習し,一般化できることが示される。
参考スコア（独自算出の注目度）: 2.8478710949588284
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents CoLLIE: a simple, yet effective model for continual learning of how language is grounded in vision. Given a pre-trained multimodal embedding model, where language and images are projected in the same semantic space (in this case CLIP by OpenAI), CoLLIE learns a transformation function that adjusts the language embeddings when needed to accommodate new language use. Unlike traditional few-shot learning, the model does not just learn new classes and labels, but can also generalize to similar language use. We verify the model's performance on two different tasks of continual learning and show that it can efficiently learn and generalize from only a few examples, with little interference with the model's original zero-shot performance.
Abstract（参考訳）: 本稿では,言語が視覚にどのように接するかを連続的に学習するための,単純かつ効果的なモデルであるcolieを提案する。事前学習されたマルチモーダル埋め込みモデルによって、言語とイメージは同じ意味空間(この場合はopenaiによるクリップ)に投影される。従来の少数ショット学習とは異なり、モデルは新しいクラスやラベルを学ぶだけでなく、同様の言語の使用を一般化することもできる。モデルの性能を連続学習の2つの異なるタスクで検証し、モデル本来のゼロショット性能にほとんど干渉することなく、少数の例から効率的に学習し、一般化できることを示す。

関連論文リスト

CLEFT: Language-Image Contrastive Learning with Efficient Large Language Model and Prompt Fine-Tuning [4.004641316826348]
効率的な大言語モデルとファインチューニング(CLEFT)を併用した新しい言語画像コントラスト学習手法を提案する。複数の胸部X線およびマンモグラフィーデータセットの最先端性能を示す。提案手法は,既存のBERTエンコーダと比較して,トレーニング可能なモデル全体のサイズを39%削減し,トレーニング可能な言語モデルを4%に削減する。
論文参考訳（メタデータ） (2024-07-30T17:57:32Z)
Opening the black box of language acquisition [0.0]
我々は、学習言語のための、より透明で認知的に妥当なアーキテクチャを提案する。ディープラーニングの代わりに、シーケンスメモリとチャンキングに基づいた最小限の認知アーキテクチャを使用します。その結果、モデルがこれらの人工言語をスクラッチから学習し、学習を支援する文法情報を抽出できることが示唆された。
論文参考訳（メタデータ） (2024-02-18T19:11:58Z)
FILM: How can Few-Shot Image Classification Benefit from Pre-Trained Language Models? [14.582209994281374]
少数のサンプルしか持たない新しいクラスに一般化可能なモデルをトレーニングすることを目的としている。コントラスト学習に基づく事前学習言語モデルを用いた新しい数発学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-07-09T08:07:43Z)
Learning Cross-lingual Visual Speech Representations [108.68531445641769]
言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
論文参考訳（メタデータ） (2023-03-14T17:05:08Z)
Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文参考訳（メタデータ） (2022-10-23T00:37:08Z)
Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
論文参考訳（メタデータ） (2022-07-01T17:24:11Z)
Multimodal Knowledge Alignment with Reinforcement Learning [103.68816413817372]
ESPERは言語のみのゼロショットモデルを拡張して、画像や音声のキャプションといったマルチモーダルタスクを未確認にする。我々の重要な新規性は、強化学習を使用することで、直接監督することなく、多モーダル入力を言語モデル世代に整列させることである。実験の結果、ESPERはベースラインと様々なゼロショットタスクの事前作業より優れていることが示された。
論文参考訳（メタデータ） (2022-05-25T10:12:17Z)
Multimodal Few-Shot Learning with Frozen Language Models [36.75551859968596]
我々は視覚エンコーダを訓練し、各画像を連続的な埋め込みの列として表現し、この接頭辞で誘導される事前学習された凍結言語モデルが適切なキャプションを生成するようにした。得られたシステムはマルチモーダルな数ショット学習者であり、実例で条件付けされた場合、驚くほど多くの新しいタスクを学習できる。
論文参考訳（メタデータ） (2021-06-25T21:07:09Z)
Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文参考訳（メタデータ） (2021-03-11T06:47:45Z)
Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文参考訳（メタデータ） (2020-10-20T17:31:07Z)
InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。コントラスト学習に基づく新しい事前学習課題を提案する。単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
論文参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。