論文の概要: Where's the Learning in Representation Learning for Compositional Semantics and the Case of Thematic Fit

• arxiv url: http://arxiv.org/abs/2208.04749v1
• Date: Tue, 9 Aug 2022 12:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-10 12:32:03.921968
• Title: Where's the Learning in Representation Learning for Compositional Semantics and the Case of Thematic Fit
• Title（参考訳）: 構成意味論における表現学習の学習とテーマ・フィットの事例
• Authors: Mughilan Muthupari, Samrat Halder, Asad Sayeed, Yuval Marton
• Abstract要約: 意味的役割予測や主題的適合推定のような特定のNLPタスクに対して、ランダムな埋め込みは事前訓練された埋め込みと同様に機能することを観察する。 課題と学習目標との関係により, ニュアンスな回答が得られている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Observing that for certain NLP tasks, such as semantic role prediction or thematic fit estimation, random embeddings perform as well as pretrained embeddings, we explore what settings allow for this and examine where most of the learning is encoded: the word embeddings, the semantic role embeddings, or ``the network''. We find nuanced answers, depending on the task and its relation to the training objective. We examine these representation learning aspects in multi-task learning, where role prediction and role-filling are supervised tasks, while several thematic fit tasks are outside the models' direct supervision. We observe a non-monotonous relation between some tasks' quality score and the training data size. In order to better understand this observation, we analyze these results using easier, per-verb versions of these tasks.
• Abstract（参考訳）: セマンティックロール予測やセマンティックフィッティング推定といった特定のNLPタスクにおいて、ランダムな埋め込みは事前訓練された埋め込みと同様に、どのような設定が可能かを調べ、学習の大部分がどこにエンコードされているか、単語の埋め込み、セマンティックロールの埋め込み、または'the network''を検証する。 タスクやトレーニング対象との関係によって,ニュアンス的な回答が得られます。 本稿では,ロール予測とロールフィルングが教師付きタスクであるマルチタスク学習において,これらの表現学習の側面について検討する。 タスクの品質スコアとトレーニングデータサイズとの非単調な関係を観察した。 この観察をよりよく理解するために、これらのタスクのより簡単かつ頂点ごとのバージョンを用いてこれらの結果を分析する。

関連論文リスト

• Leveraging knowledge distillation for partial multi-task learning from multiple remote sensing datasets [2.1178416840822023]
  ターゲットタスクの1つにトレーニング例をアノテートする部分的マルチタスク学習は、リモートセンシングにおいて有望なアイデアである。 本稿では, 知識蒸留を用いて, 代替課題における基礎的真理の必要性を代替し, その性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-05-24T09:48:50Z)
• Proto-Value Networks: Scaling Representation Learning with Auxiliary Tasks [33.98624423578388]
  補助的なタスクは、深層強化学習エージェントによって学習された表現を改善する。 我々は、後継措置に基づく新しい補助業務のファミリーを導出する。 プロト値ネットワークは、確立されたアルゴリズムに匹敵する性能を得るために、リッチな特徴を生み出すことを示す。
  論文  参考訳（メタデータ） (2023-04-25T04:25:08Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• Negation, Coordination, and Quantifiers in Contextualized Language Models [4.46783454797272]
  機能語の意味的制約が学習されるかどうか, 周辺環境が組み込む環境に与える影響について検討する。 我々は、適切なデータセットを作成し、LMs vis-a-vis関数ワードの内部動作に関する新たな洞察を提供し、質的分析のための補助的なビジュアルWebインターフェースを実装した。
  論文  参考訳（メタデータ） (2022-09-16T10:01:11Z)
• Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
  マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。 現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。 本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-03T20:26:44Z)
• On the relationship between disentanglement and multi-task learning [62.997667081978825]
  ハードパラメータ共有に基づくマルチタスク学習と絡み合いの関係について,より詳しく検討する。 マルチタスクニューラルネットワークトレーニングの過程において, 絡み合いが自然に現れることを示す。
  論文  参考訳（メタデータ） (2021-10-07T14:35:34Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Usable Information and Evolution of Optimal Representations During Training [79.38872675793813]
  特に、意味的に意味があるが究極的には無関係な情報は、訓練の初期の過渡的ダイナミクスに符号化されている。 文献に触発された知覚的意思決定タスクと標準画像分類タスクの両方にこれらの効果を示す。
  論文  参考訳（メタデータ） (2020-10-06T03:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。