論文の概要: Learning Bidirectional Action-Language Translation with Limited Supervision and Incongruent Extra Input

• arxiv url: http://arxiv.org/abs/2301.03353v1
• Date: Mon, 9 Jan 2023 14:09:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 15:31:04.868121
• Title: Learning Bidirectional Action-Language Translation with Limited Supervision and Incongruent Extra Input
• Title（参考訳）: 限定スーパービジョンと伴奏外入力による双方向動作言語翻訳の学習
• Authors: Ozan \"Ozdemir, Matthias Kerzel, Cornelius Weber, Jae Hee Lee, Muhammad Burhan Hafez, Patrick Bruns, Stefan Wermter
• Abstract要約: Paired Gated Autoencoders(PGAE)モデルを用いて、弱教師付き学習パラダイムをモデル化する。 本稿では,Paired Transformed Autoencoders (PTAE) モデルを提案する。 PTAEは、言語間および行動間翻訳において、かなり高い精度を達成する。
• 参考スコア（独自算出の注目度）: 14.548576165754804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human infant learning happens during exploration of the environment, by interaction with objects, and by listening to and repeating utterances casually, which is analogous to unsupervised learning. Only occasionally, a learning infant would receive a matching verbal description of an action it is committing, which is similar to supervised learning. Such a learning mechanism can be mimicked with deep learning. We model this weakly supervised learning paradigm using our Paired Gated Autoencoders (PGAE) model, which combines an action and a language autoencoder. After observing a performance drop when reducing the proportion of supervised training, we introduce the Paired Transformed Autoencoders (PTAE) model, using Transformer-based crossmodal attention. PTAE achieves significantly higher accuracy in language-to-action and action-to-language translations, particularly in realistic but difficult cases when only few supervised training samples are available. We also test whether the trained model behaves realistically with conflicting multimodal input. In accordance with the concept of incongruence in psychology, conflict deteriorates the model output. Conflicting action input has a more severe impact than conflicting language input, and more conflicting features lead to larger interference. PTAE can be trained on mostly unlabelled data where labeled data is scarce, and it behaves plausibly when tested with incongruent input.
• Abstract（参考訳）: 人間の幼児学習は、環境の探索、物体との相互作用、そして教師なしの学習に類似した、さりげなく発話を聴き繰り返すことによって起こる。 時折、学習幼児は、それが犯している行動の一致する言葉による記述を受け取り、これは教師付き学習に似ている。 このような学習メカニズムは、深層学習と模倣することができる。 私たちは、アクションと言語オートエンコーダを組み合わせたペアゲートオートエンコーダ(pgae)モデルを使用して、この弱い教師付き学習パラダイムをモデル化します。 教師付きトレーニングの比率を下げる際の性能低下を観察した後,Transformer を用いた相互注意を用いた Paired Transformed Autoencoders (PTAE) モデルを導入する。 PTAEは言語から行動への翻訳や行動から言語への翻訳において、特に教師付きトレーニングサンプルがほとんどない場合において、はるかに高い精度を達成する。 また、訓練されたモデルが矛盾するマルチモーダル入力と現実的に振る舞うかどうかをテストした。 心理学における矛盾の概念に従って、対立はモデルの出力を悪化させる。 競合するアクションインプットは、言語インプットと競合するよりも深刻な影響を与える。 PTAEはラベル付きデータが乏しく、不連続な入力でテストした場合に妥当な振る舞いをする、ほとんどラベルのないデータでトレーニングすることができる。

関連論文リスト

• On the Shortcut Learning in Multilingual Neural Machine Translation [95.30470845501141]
  本研究は、多言語ニューラルマシン翻訳(MNMT)において、一般的に語られるオフターゲット問題を再考する。 ターゲット外の問題は、(非中心的、中心的でない)言語マッピングのショートカットが過度に適合していることに起因しています。 学習力学の解析によると、ショートカット学習はモデルトレーニングの後期に一般的に発生する。
  論文  参考訳（メタデータ） (2024-11-15T21:09:36Z)
• An iterated learning model of language change that mixes supervised and unsupervised learning [0.0]
  反復学習モデルは、教師から生徒に言語が伝達される言語変化のエージェントベースモデルである。 従来のモデルは、人工ニューラルネットワークデコーダを使用して、信号から意味へのエージェントのマッピングを実装していた。 ここでは、デコーダとエンコーダの両方がニューラルネットワークであり、教師なし学習を通じて個別に訓練され、教師なし学習によってオートエンコーダの形で訓練される新しいモデルを示す。
  論文  参考訳（メタデータ） (2024-05-31T14:14:01Z)
• Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt [80.43623986759691]
  UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。 このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。 我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
  論文  参考訳（メタデータ） (2024-01-02T03:37:11Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Explainable Verbal Deception Detection using Transformers [1.5104201344012347]
  本稿では,BERT(およびRoBERTa),マルチヘッドアテンション,コアテンション,トランスフォーマーの組み合わせを含む6つのディープラーニングモデルを提案し,評価する。 この結果から,我々のトランスを用いたモデルでは,自動偽造検出性能(精度+2.11%)が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-06T17:36:00Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Language Model-Based Paired Variational Autoencoders for Robotic Language Learning [18.851256771007748]
  人間の幼児と同様、人工エージェントは環境と対話しながら言語を学ぶことができる。 本稿では,ロボットの動作と言語記述を双方向に結合するニューラルモデルを提案する。 次に, PVAE-BERTを導入し, 事前訓練された大規模言語モデルとモデルを同調する。
  論文  参考訳（メタデータ） (2022-01-17T10:05:26Z)
• Simple Contrastive Representation Adversarial Learning for NLP Tasks [17.12062566060011]
  教師付きコントラスト対逆学習(SCAL)と教師なしSCAL(USCAL)の2つの新しいフレームワークを提案する。 本稿では,自然言語理解,文意味的テキスト類似性,対人学習タスクのためのTransformerベースのモデルに適用する。 GLUEベンチマークタスクの実験結果から,細調整された教師付き手法はBERT$_base$1.75%以上の性能を示した。
  論文  参考訳（メタデータ） (2021-11-26T03:16:09Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Adversarial Training with Contrastive Learning in NLP [0.0]
  本稿では,言語処理タスクを逆学習するために,比較学習(ATCL)を用いた逆学習を提案する。 中心となる考え方は、高速勾配法(FGM)によって入力の埋め込み空間に線形摂動を生じさせ、元の表現と摂動表現を対照的な学習によって密に保つようモデルを訓練することである。 この結果から, 定量的(複雑度, BLEU) のスコアは, ベースラインに比べて向上しただけでなく, 両タスクのセマンティックレベルにおいても, 質的な結果が得られた。
  論文  参考訳（メタデータ） (2021-09-19T07:23:45Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。