論文の概要: INarIG: Iterative Non-autoregressive Instruct Generation Model For Word-Level Auto Completion

• arxiv url: http://arxiv.org/abs/2311.18200v1
• Date: Thu, 30 Nov 2023 02:39:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 18:17:07.492851
• Title: INarIG: Iterative Non-autoregressive Instruct Generation Model For Word-Level Auto Completion
• Title（参考訳）: INarIG: 単語レベル自動補完のための反復的非自己回帰命令生成モデル
• Authors: Hengchao Shang, Zongyao Li, Daimeng Wei, Jiaxin Guo, Minghan Wang, Xiaoyu Chen, Lizhi Lei, Hao Yang
• Abstract要約: Word-Level Auto Completion (WLAC)は、ソース文、翻訳コンテキスト、人型文字シーケンスが与えられた対象単語を予測する。 InarIG(Iterative Non-autoregressive Instruct Generation)モデルを提案する。 我々のモデルは低周波単語を扱うのに優れており、WMT22およびベンチマークデータセットの最先端結果が得られ、最大10%以上の予測精度が向上する。
• 参考スコア（独自算出の注目度）: 11.72797729874854
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Computer-aided translation (CAT) aims to enhance human translation efficiency and is still important in scenarios where machine translation cannot meet quality requirements. One fundamental task within this field is Word-Level Auto Completion (WLAC). WLAC predicts a target word given a source sentence, translation context, and a human typed character sequence. Previous works either employ word classification models to exploit contextual information from both sides of the target word or directly disregarded the dependencies from the right-side context. Furthermore, the key information, i.e. human typed sequences, is only used as prefix constraints in the decoding module. In this paper, we propose the INarIG (Iterative Non-autoregressive Instruct Generation) model, which constructs the human typed sequence into Instruction Unit and employs iterative decoding with subwords to fully utilize input information given in the task. Our model is more competent in dealing with low-frequency words (core scenario of this task), and achieves state-of-the-art results on the WMT22 and benchmark datasets, with a maximum increase of over 10% prediction accuracy.
• Abstract（参考訳）: コンピュータ支援翻訳(CAT)は人間の翻訳効率を高めることを目的としており、機械翻訳が品質要件を満たすことができないシナリオでは依然として重要である。 この分野の基本課題はWord-Level Auto Completion (WLAC)である。 WLACは、ソース文、翻訳コンテキスト、および人型文字シーケンスが与えられた対象単語を予測する。 従来の作業では、単語分類モデルを使用して、対象単語の両側からコンテキスト情報を利用するか、あるいは右のコンテキストから依存関係を直接無視する。 さらに、キー情報、すなわち人間の型付きシーケンスはデコードモジュールのプレフィックス制約としてのみ使用される。 本稿では,人間型配列を命令単位に構成し,サブワードを用いた反復復号を用いてタスクに与えられた入力情報を完全に活用するINarIG(Iterative Non-autoregressive Instruct Generation)モデルを提案する。 我々のモデルは、低周波単語(このタスクのコアシナリオ)を扱う能力が高く、WMT22およびベンチマークデータセットの最先端結果を達成することができ、最大10%以上の予測精度が向上する。

関連論文リスト

• An Energy-based Model for Word-level AutoCompletion in Computer-aided Translation [97.3797716862478]
  Word-level AutoCompletion (WLAC) は、コンピュータ支援翻訳における報奨だが挑戦的なタスクである。 既存の作業は、入力コンテキストの隠れベクターを対応するラベルにマッピングするニューラルネットワークに基づく分類モデルを通じて、このタスクに対処する。 そこで本研究では,WLACのエネルギーモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-29T15:07:19Z)
• Enhancing Medical Specialty Assignment to Patients using NLP Techniques [0.0]
  本稿では,計算効率を向上しつつ,優れた性能を実現する方法を提案する。 具体的には、キーワードを用いて、大規模なテキストコーパスで事前訓練された言語モデルより優れたディープラーニングアーキテクチャを訓練する。 その結果,テキスト分類におけるキーワードの利用により,分類性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2023-12-09T14:13:45Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Towards Computationally Verifiable Semantic Grounding for Language Models [18.887697890538455]
  本論文は、エンティティ関係三重項の集合として形式化された所望のセマンティックメッセージが与えられた条件モデル生成テキストとしてLMを概念化する。 LMを自動エンコーダに埋め込むと、出力が入力メッセージと同じ表現領域にあるセマンティック・フラエンシに出力を送り込む。 提案手法は,グリーディ検索のベースラインを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-11-16T17:35:52Z)
• How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing [0.0]
  本稿では,各ツイートに危機イベントタイプを追加して人道的分類タスクを改善する方法について述べる。 これは、提案されたニューラルネットワークアプローチが、Crisis Benchmarkの特殊性を部分的に過度に適合しているかを示している。
  論文  参考訳（メタデータ） (2021-11-07T11:24:08Z)
• Dict-BERT: Enhancing Language Model Pre-training with Dictionary [42.0998323292348]
  事前学習型言語モデル(PLM)は,大規模コーパス上で自己指導型学習タスクを行うことで,普遍的な言語表現を学習することを目的としている。 本研究では,辞書におけるレアワードの定義を活用することで,言語モデル事前学習の強化に焦点をあてる。 入力テキストシーケンスとまれな単語定義間の単語と文レベルのアライメントに関する2つの新しい自己教師付き事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2021-10-13T04:29:14Z)
• Template Controllable keywords-to-text Generation [16.255080737147384]
  このモデルは、順序のないキーワードのセットと、POS(Part-of-speech)ベースのテンプレート命令を入力として取ります。 このフレームワークはEncode-attend-decodeパラダイムに基づいており、まずキーワードとテンプレートをエンコードし、デコーダはエンコードされたキーワードとテンプレートから派生したコンテキストを巧みに参加して文を生成する。
  論文  参考訳（メタデータ） (2020-11-07T08:05:58Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。