論文の概要: The Role of Interpretable Patterns in Deep Learning for Morphology

• arxiv url: http://arxiv.org/abs/2012.04575v1
• Date: Tue, 8 Dec 2020 17:20:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 02:19:53.407860
• Title: The Role of Interpretable Patterns in Deep Learning for Morphology
• Title（参考訳）: 形態学の深層学習における解釈可能なパターンの役割
• Authors: Judit Acs and Andras Kornai
• Abstract要約: 形態素解析,補間,コピーの3つの課題における文字パターンの役割について検討した。 我々は、エンコーダがパターンマッチングネットワークである標準シーケンス-シーケンスモデルの修正版を使用する。 同じソースで異なるターゲットでモデルをトレーニングすることで、異なるタスクでどのサブワードが重要か、どのように相互に関連しているかを比較することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We examine the role of character patterns in three tasks: morphological analysis, lemmatization and copy. We use a modified version of the standard sequence-to-sequence model, where the encoder is a pattern matching network. Each pattern scores all possible N character long subwords (substrings) on the source side, and the highest scoring subword's score is used to initialize the decoder as well as the input to the attention mechanism. This method allows learning which subwords of the input are important for generating the output. By training the models on the same source but different target, we can compare what subwords are important for different tasks and how they relate to each other. We define a similarity metric, a generalized form of the Jaccard similarity, and assign a similarity score to each pair of the three tasks that work on the same source but may differ in target. We examine how these three tasks are related to each other in 12 languages. Our code is publicly available.
• Abstract（参考訳）: 形態素解析,補間,コピーの3つの課題における文字パターンの役割について検討した。 我々は、エンコーダがパターンマッチングネットワークである標準シーケンス-シーケンスモデルの修正版を使用する。 各パターンは、ソース側で可能なすべてのN文字長のサブワード(サブストリング)をスコアし、最高スコアのサブワードスコアを使用してデコーダを初期化し、アテンション機構への入力を行う。 この方法では、入力のどのサブワードが出力を生成するのに重要であるかを学ぶことができる。 同じソースで異なるターゲットでモデルをトレーニングすることで、異なるタスクでどのサブワードが重要か、どのように相互に関連しているかを比較することができる。 我々は、jaccard類似性の一般化された形式である類似度メトリックを定義し、同じソースで動作するがターゲットが異なる可能性のある3つのタスクの各ペアに類似度スコアを割り当てる。 これら3つのタスクが12の言語で相互に関連しているか検討する。 私たちのコードは公開されています。

関連論文リスト

• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• Learning Mutually Informed Representations for Characters and Subwords [26.189422354038978]
  本稿では,文字とサブワードの言語モデルを組み合わせることを目的とした絡み合いモデルを提案する。 視覚言語モデルにインスパイアされた我々のモデルは、文字とサブワードを別のモダリティとして扱う。 テキスト分類、名前付きエンティティ認識、POSタグ付け、文字レベルのシーケンスラベリングについて評価を行った。
  論文  参考訳（メタデータ） (2023-11-14T02:09:10Z)
• Language Models As Semantic Indexers [78.83425357657026]
  本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。 学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
  論文  参考訳（メタデータ） (2023-10-11T18:56:15Z)
• Assessing Word Importance Using Models Trained for Semantic Tasks [0.0]
  我々は、自然言語推論とパラフレーズ同定という、意味的課題を解決するために訓練されたモデルから単語の意義を導き出す。 我々は、いわゆるクロスタスク評価を用いて、それらの妥当性を評価する。 本手法は, 文章中の重要な単語を, 学習における単語のラベル付けを伴わずに識別することができる。
  論文  参考訳（メタデータ） (2023-05-31T09:34:26Z)
• Coarse-to-Fine: Hierarchical Multi-task Learning for Natural Language Understanding [51.31622274823167]
  本稿では,各タスクの下位レベルを全タスクに共有し,中間レベルを異なるグループに分割し,上位レベルを各タスクに割り当てる,粗大なパラダイムを持つ階層型フレームワークを提案する。 これにより、すべてのタスクから基本言語特性を学習し、関連するタスクのパフォーマンスを高め、無関係なタスクから負の影響を減らすことができる。
  論文  参考訳（メタデータ） (2022-08-19T02:46:20Z)
• Improving Multi-task Generalization Ability for Neural Text Matching via Prompt Learning [54.66399120084227]
  最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。 我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。 特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。 一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
  論文  参考訳（メタデータ） (2022-04-06T11:01:08Z)
• Learning 3D Dense Correspondence via Canonical Point Autoencoder [108.20735652143787]
  同一カテゴリの3次元形状間の密接な対応を予測できる標準点オートエンコーダ(CPAE)を提案する。 オートエンコーダは、2つの重要な機能を実行する: (a) 任意に順序付けられた点雲を標準プリミティブに符号化し、 (b) プリミティブを元の入力インスタンス形状に復号する。
  論文  参考訳（メタデータ） (2021-07-10T15:54:48Z)
• Robustness Tests of NLP Machine Learning Models: Search and Semantically Replace [2.0611838991750018]
  本稿では、自然言語処理(NLP)を含む機械学習モデルの堅牢性を評価する戦略を提案する。 全体的アプローチは、(1)テキストの重要な部分を識別する検索と、(2)重要な部分の置換を見つけ、置き換えられたトークンを意味的に類似した単語で制限するセマンティック置換という2つのステップからなる検索とセマンティック置換戦略に依存します。
  論文  参考訳（メタデータ） (2021-04-20T14:05:36Z)
• Pairwise Learning for Name Disambiguation in Large-Scale Heterogeneous Academic Networks [81.00481125272098]
  本稿では,MA-PairRNN(Multi-view Attention-based Pairwise Recurrent Neural Network)を提案する。 MA-PairRNNは、不均一グラフ埋め込み学習とペアワイズ類似学習をフレームワークに統合する。 実世界の2つのデータセットの結果から、我々のフレームワークは名前の曖昧さに対するパフォーマンスを著しく一貫した改善をしていることがわかる。
  論文  参考訳（メタデータ） (2020-08-30T06:08:20Z)
• Logic Constrained Pointer Networks for Interpretable Textual Similarity [11.142649867439406]
  本稿では, セシネルゲーティング機能を備えた新しいポインターネットワークモデルを導入し, 構成チャンクを整列させる。 両文の相違を等しく補償し、アライメントが双方向であることを保証するために、損失関数によるこのベースモデルを改善する。 このモデルは、チャンクアライメントタスクのためのベンチマークSemEvalデータセットにおいて、97.73と96.32のF1スコアを達成する。
  論文  参考訳（メタデータ） (2020-07-15T13:01:44Z)
• Keyphrase Extraction with Span-based Feature Representations [13.790461555410747]
  キーフレーズは、文書を特徴付ける意味メタデータを提供することができる。 キーフレーズ抽出のための3つのアプローチ: (i) 従来の2段階ランキング法、 (ii) シーケンスラベリング、 (iii) ニューラルネットワークを用いた生成。 本稿では,すべてのコンテンツトークンから直接,キーフレーズのスパン的特徴表現を抽出する新規スパンキーフレーズ抽出モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-13T09:48:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。