Fugu-MT 論文翻訳(概要): Language Modelling as a Multi-Task Problem

論文の概要: Language Modelling as a Multi-Task Problem

arxiv url: http://arxiv.org/abs/2101.11287v1
Date: Wed, 27 Jan 2021 09:47:42 GMT
ステータス: 処理完了
システム内更新日: 2021-02-01 19:29:23.163038
Title: Language Modelling as a Multi-Task Problem
Title（参考訳）: マルチタスク問題としての言語モデリング
Authors: Lucas Weber, Jaap Jumelet, Elia Bruni and Dieuwke Hupkes
Abstract要約: 言語モデルが訓練中のマルチタスク学習の学習原理に適合するかどうかを検討する。実験では、言語モデリングのより一般的なタスクの目的の中で、マルチタスク設定が自然に現れることを示した。
参考スコア（独自算出の注目度）: 12.48699285085636
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose to study language modelling as a multi-task problem, bringing together three strands of research: multi-task learning, linguistics, and interpretability. Based on hypotheses derived from linguistic theory, we investigate whether language models adhere to learning principles of multi-task learning during training. To showcase the idea, we analyse the generalisation behaviour of language models as they learn the linguistic concept of Negative Polarity Items (NPIs). Our experiments demonstrate that a multi-task setting naturally emerges within the objective of the more general task of language modelling.We argue that this insight is valuable for multi-task learning, linguistics and interpretability research and can lead to exciting new findings in all three domains.
Abstract（参考訳）: 本稿では,マルチタスク問題としての言語モデリングについて検討し,マルチタスク学習,言語学,解釈可能性という3つの研究をまとめる。言語理論から導き出された仮説に基づき,学習中のマルチタスク学習の学習原理に言語モデルが従うかを検討する。そこで本研究では,ネガティブ極性項目(NPI)の言語概念を学習する上で,言語モデルの一般化挙動を解析する。我々の実験は、マルチタスク設定が言語モデリングのより一般的なタスクの目的の中に自然に現れることを実証し、この洞察はマルチタスク学習、言語学、解釈可能性研究に有用であり、3つの領域すべてにおいてエキサイティングな新しい発見をもたらす可能性があると主張している。

関連論文リスト

Visually Grounded Language Learning: a review of language games, datasets, tasks, and models [60.2604624857992]
多くのVision+Language (V+L)タスクは、視覚的モダリティでシンボルをグラウンドできるモデルを作成することを目的として定義されている。本稿では,V+L分野において提案されるいくつかの課題とモデルについて,系統的な文献レビューを行う。
論文参考訳（メタデータ） (2023-12-05T02:17:29Z)
Exploring the Maze of Multilingual Modeling [2.0849578298972835]
我々は,mBERT,XLM-R,GPT-3の3つの言語モデルについて総合評価を行った。その結果,言語固有の事前学習データの量はモデル性能において重要な役割を担っているが,汎用リソースの可用性,言語ファミリ,スクリプトタイプといった他の要因も重要な特徴であることがわかった。
論文参考訳（メタデータ） (2023-10-09T04:48:14Z)
Multilingual Multi-Figurative Language Detection [14.799109368073548]
比喩的言語理解は多言語環境では非常に過小評価されています我々は,多言語多言語言語モデリングを導入し,文レベル図形言語検出のためのベンチマークを提供する。テンプレートに基づく即時学習に基づく図形言語検出のためのフレームワークを開発する。
論文参考訳（メタデータ） (2023-05-31T18:52:41Z)
Universal and Independent: Multilingual Probing Framework for Exhaustive Model Interpretation and Evaluation [0.04199844472131922]
多数の言語を簡単に探索できるGUI支援フレームワークを提案し,適用した。 mBERTモデルで明らかになった規則性のほとんどは、西欧語で典型的である。私たちのフレームワークは,既存のプローブツールボックスやモデルカード,リーダボードと統合することができます。
論文参考訳（メタデータ） (2022-10-24T13:41:17Z)
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文参考訳（メタデータ） (2022-05-24T03:35:00Z)
Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文参考訳（メタデータ） (2021-12-16T05:36:08Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文参考訳（メタデータ） (2021-06-16T18:13:55Z)
Are pre-trained text representations useful for multilingual and multi-dimensional language proficiency modeling? [6.294759639481189]
本稿では,多次元多言語習熟度分類における事前学習および微調整多言語組込みの役割に関する実験と観察について述べる。提案手法は,多言語習熟度モデリングに有用であるが,どの特徴も言語習熟度の全次元において一貫した最高の性能を得られていないことを示唆する。
論文参考訳（メタデータ） (2021-02-25T16:23:52Z)
Meta-Learning for Effective Multi-task and Multilingual Modelling [23.53779501937046]
タスクと言語間の相互作用を学ぶためのメタラーニング手法を提案する。我々は、XTREME多言語ベンチマークデータセットから5つの異なるタスクと6つの異なる言語に関する実験を提示する。
論文参考訳（メタデータ） (2021-01-25T19:30:26Z)
Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。我々の表現は類型学を組み込み、言語関係と相関関係を強化する。次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。