論文の概要: Explaining Translationese: why are Neural Classifiers Better and what do they Learn?

• arxiv url: http://arxiv.org/abs/2210.13391v1
• Date: Mon, 24 Oct 2022 16:43:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 17:04:17.556889
• Title: Explaining Translationese: why are Neural Classifiers Better and what do they Learn?
• Title（参考訳）: 翻訳を説明する: なぜ神経分類器は良くなり、何を学ぶのか?
• Authors: Kwabena Amponsah-Kaakyire, Daria Pylypenko, Josef van Genabith and Cristina Espa\~na-Bonet
• Abstract要約: BERTは、従来の手動機能エンジニアリングベースのアプローチよりも優れたパフォーマンスを実現している。 BERT学習と手作り機能の利用は,手作り機能を用いてSVMのレベルで実行可能であることを示す。 また、手作りの機能によってキャプチャされた情報は、BERTが学習したサブセットに過ぎないこともわかりました。
• 参考スコア（独自算出の注目度）: 17.10685977194571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that neural feature- and representation-learning, e.g. BERT, achieves superior performance over traditional manual feature engineering based approaches, with e.g. SVMs, in translationese classification tasks. Previous research did not show $(i)$ whether the difference is because of the features, the classifiers or both, and $(ii)$ what the neural classifiers actually learn. To address $(i)$, we carefully design experiments that swap features between BERT- and SVM-based classifiers. We show that an SVM fed with BERT representations performs at the level of the best BERT classifiers, while BERT learning and using handcrafted features performs at the level of an SVM using handcrafted features. This shows that the performance differences are due to the features. To address $(ii)$ we use integrated gradients and find that $(a)$ there is indication that information captured by hand-crafted features is only a subset of what BERT learns, and $(b)$ part of BERT's top performance results are due to BERT learning topic differences and spurious correlations with translationese.
• Abstract（参考訳）: 最近の研究は、例えばBERTのようなニューラル特徴学習と表現学習が、従来の手動特徴工学に基づくアプローチよりも優れたパフォーマンスを達成していることを示している。 以前の調査では$は示さなかった。 (i)$ 特徴、分類器、またはその両方、および$によって違いがあるかどうか。 (ii)神経分類器が実際に何を学ぶか。 to address $ i) BERT-とSVM-ベースの分類器間の機能を交換する実験を慎重に設計する。 BERT表現を入力したSVMは最高のBERT分類器のレベルで動作し、BERT学習と手作り機能の使用は手作り機能を用いてSVMのレベルで動作することを示す。 これは性能の違いが特徴に起因することを示している。 to address $ (ii)$ 統合勾配を使い、その$を見つけます。 (a)$$は、手作りの機能によって取得された情報は、BERTが学習するもののサブセットであり、$であることを示している。 (b) bert の最高のパフォーマンス結果の一部は、bert の学習トピックの違いと翻訳語との相関が原因である。

関連論文リスト

• AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning [53.32576252950481]
  連続学習は、モデルが逐次到着したデータから段階的に知識を学習できるようにすることを目的としている。 本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T07:39:17Z)
• CNN-Trans-Enc: A CNN-Enhanced Transformer-Encoder On Top Of Static BERT representations for Document Classification [0.0]
  BERTはテキスト分類タスクにおいて顕著な結果を得る。 近年の研究では、異なる層が異なる言語的特徴に焦点を当てていることが示唆されている。 固定BERT上でトレーニングしたCNN拡張トランスフォーマーエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-13T23:23:08Z)
• Blessing of Class Diversity in Pre-training [54.335530406959435]
  事前学習タスクのクラスが十分に多種多様である場合、事前学習は下流タスクのサンプル効率を大幅に向上させることができることを示す。 我々の証明は、合成関数クラスに対するベクトル形式ラデマッハ複雑性連鎖則と修正自己調和条件に依存している。
  論文  参考訳（メタデータ） (2022-09-07T20:10:12Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Dartmouth CS at WNUT-2020 Task 2: Informative COVID-19 Tweet Classification Using BERT [2.1574781022415364]
  我々は、WNUT-2020共有タスク2のために開発されたシステムについて説明します。 BERTは自然言語処理タスクのための高性能なモデルです。 我々は、BERTを微調整し、その埋め込みとつぶやき固有の特徴を結合することにより、この分類タスクにおけるBERTのパフォーマンスを向上した。
  論文  参考訳（メタデータ） (2020-12-07T07:55:31Z)
• Enhancing deep neural networks with morphological information [0.0]
  LSTMモデルとBERTモデルに形態学的特徴を加える効果を解析した。 その結果, 形態的特徴の付加は, 特徴の質や課題によって異なることが示唆された。
  論文  参考訳（メタデータ） (2020-11-24T22:35:44Z)
• Augmenting BERT Carefully with Underrepresented Linguistic Features [6.096779295981379]
  変換器 (BERT) を用いた配列分類モデルにより, 人間の音声の転写からアルツハイマー病 (AD) を検出するのに有効であることが証明された。 従来の研究では、追加情報でモデルを増強することで、様々なタスクにおけるBERTのパフォーマンスを改善することが可能であった。 これらの特徴と組み合わせて調整したBERTは,細調整したBERT単独に比べて,AD分類の性能を最大5%向上させることを示した。
  論文  参考訳（メタデータ） (2020-11-12T01:32:41Z)
• Does Chinese BERT Encode Word Structure? [17.836131968160917]
  文脈化された表現は、幅広いNLPタスクに対して大幅に改善された結果を与える。 BERTのような代表モデルによってキャプチャされた特徴を分析するために、多くの作業が費やされている。 本研究では,(1)単語情報がBERTによって取得されること,(2)単語レベルの特徴が主に中間表現層にあること,(3)下流タスクがBERTの単語特徴を異なる用途で利用すること,の2つを用いて中国語のBERTを調査する。
  論文  参考訳（メタデータ） (2020-10-15T12:40:56Z)
• ALICE: Active Learning with Contrastive Natural Language Explanations [69.03658685761538]
  本研究では,学習におけるデータ効率を向上させるために,AlICEを用いたアクティブラーニングを提案する。 ALICEは、まずアクティブラーニングを使用して、最も情報に富んだラベルクラスを選択し、対照的な自然言語の説明を引き出す。 意味的に抽出された知識を用いて、これらの説明から知識を抽出する。
  論文  参考訳（メタデータ） (2020-09-22T01:02:07Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。