論文の概要: Enhancing Neural Machine Translation with Semantic Units

• arxiv url: http://arxiv.org/abs/2310.11360v1
• Date: Tue, 17 Oct 2023 15:55:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 15:09:51.788897
• Title: Enhancing Neural Machine Translation with Semantic Units
• Title（参考訳）: 意味単位を用いたニューラルマシン翻訳の強化
• Authors: Langlin Huang, Shuhao Gu, Zhuocheng Zhang, Yang Feng
• Abstract要約: 文中の意味単位の積分的意味をモデル化する手法を提案する。 そして、それらを活用して、文を理解するための新しい視点を提供します。 実験結果から,本手法は強いベースラインを効果的にモデル化し,性能を向上することが示された。
• 参考スコア（独自算出の注目度）: 19.277108324366257
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Conventional neural machine translation (NMT) models typically use subwords and words as the basic units for model input and comprehension. However, complete words and phrases composed of several tokens are often the fundamental units for expressing semantics, referred to as semantic units. To address this issue, we propose a method Semantic Units for Machine Translation (SU4MT) which models the integral meanings of semantic units within a sentence, and then leverages them to provide a new perspective for understanding the sentence. Specifically, we first propose Word Pair Encoding (WPE), a phrase extraction method to help identify the boundaries of semantic units. Next, we design an Attentive Semantic Fusion (ASF) layer to integrate the semantics of multiple subwords into a single vector: the semantic unit representation. Lastly, the semantic-unit-level sentence representation is concatenated to the token-level one, and they are combined as the input of encoder. Experimental results demonstrate that our method effectively models and leverages semantic-unit-level information and outperforms the strong baselines. The code is available at https://github.com/ictnlp/SU4MT.
• Abstract（参考訳）: 従来のニューラルネットワーク翻訳(NMT)モデルは、通常、モデル入力と理解の基本単位としてサブワードと単語を使用する。 しかし、複数のトークンからなる完全な単語や句はしばしば意味論を表現する基本単位であり、意味論単位と呼ばれる。 この問題に対処するために,文内の意味単位の積分的意味をモデル化し,それらを利用して文を理解するための新たな視点を提供する意味翻訳用意味翻訳ユニット (SU4MT) を提案する。 具体的には,意味単位の境界を識別するためのフレーズ抽出手法であるWord Pair Encoding (WPE)を提案する。 次に、複数のサブワードのセマンティクスを単一のベクトル、すなわち意味単位表現に統合するために、ASF(Attentive Semantic Fusion)層を設計する。 最後に、意味単位レベルの文表現をトークンレベルの表現に連結し、エンコーダの入力として結合する。 実験により,提案手法は,意味単位レベルの情報を効果的にモデル化し,活用し,強力なベースラインを上回ることを示した。 コードはhttps://github.com/ictnlp/su4mtで入手できる。

関連論文リスト

• Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models [88.07940818022468]
  エンコーダのみの多言語言語モデル(mLM)におけるサブワード間の共有セマンティクスの役割を測る第一歩を踏み出した。 意味的に類似したサブワードとその埋め込みをマージして「意味トークン」を形成する。 グループ化されたサブワードの検査では 様々な意味的類似性を示します
  論文  参考訳（メタデータ） (2024-11-07T08:38:32Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic Interpretability: A Case Study on Othello-GPT [59.245414547751636]
  本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。 当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。 我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
  論文  参考訳（メタデータ） (2024-02-19T15:04:53Z)
• Leveraging multilingual transfer for unsupervised semantic acoustic word embeddings [23.822788597966646]
  音響単語埋め込み(AWEs)は、音声の内容を符号化する音声セグメントの固定次元ベクトル表現である。 本稿ではセマンティックAWEモデリングについて考察する。 AWEがダウンストリームのセマンティッククエリ・バイ・サンプル検索に使用できることを初めて示します。
  論文  参考訳（メタデータ） (2023-07-05T07:46:54Z)
• Towards Computationally Verifiable Semantic Grounding for Language Models [18.887697890538455]
  本論文は、エンティティ関係三重項の集合として形式化された所望のセマンティックメッセージが与えられた条件モデル生成テキストとしてLMを概念化する。 LMを自動エンコーダに埋め込むと、出力が入力メッセージと同じ表現領域にあるセマンティック・フラエンシに出力を送り込む。 提案手法は,グリーディ検索のベースラインを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-11-16T17:35:52Z)
• Semantic SuperPoint: A Deep Semantic Descriptor [2.1362576987263955]
  共有エンコーダアーキテクチャにセマンティックセグメンテーションデコーダを追加することで、記述子デコーダがセマンティック情報を学ぶのに役立つことを提案する。 提案したモデルは,HPatchesデータセット上の検出およびマッチング指標に基づいて評価される。
  論文  参考訳（メタデータ） (2022-11-02T13:17:04Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• SChME at SemEval-2020 Task 1: A Model Ensemble for Detecting Lexical Semantic Change [58.87961226278285]
  本稿では,SemEval-2020 Task 1における語彙意味変化の教師なし検出法であるSChMEについて述べる。 SChMEは、分布モデル(単語埋め込み)とワード周波数モデルの信号を組み合わせたモデルアンサンブルを使用し、各モデルは、その特徴に応じて単語が苦しむ確率を示す投票を行う。
  論文  参考訳（メタデータ） (2020-12-02T23:56:34Z)
• Lexical Sememe Prediction using Dictionary Definitions by Capturing Local Semantic Correspondence [94.79912471702782]
  セメムは人間の言語の最小の意味単位として定義されており、多くのNLPタスクで有用であることが証明されている。 本稿では,このようなマッチングを捕捉し,セメムを予測できるセメム対応プールモデルを提案する。 我々は,有名なSememe KB HowNetのモデルとベースライン手法を評価し,そのモデルが最先端のパフォーマンスを実現することを発見した。
  論文  参考訳（メタデータ） (2020-01-16T17:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。