論文の概要: Detecting and Understanding Generalization Barriers for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2004.02181v1
• Date: Sun, 5 Apr 2020 12:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:43:35.986104
• Title: Detecting and Understanding Generalization Barriers for Neural Machine Translation
• Title（参考訳）: ニューラルネットワーク翻訳のための一般化障壁の検出と理解
• Authors: Guanlin Li, Lemao Liu, Conghui Zhu, Tiejun Zhao, Shuming Shi
• Abstract要約: 本稿では,未知の入力文内での一般化バリアワードの同定と理解を試みる。 本稿では,一般化バリアワードの原理的定義と,計算において抽出可能な修正版を提案する。 次に、Zh$Leftrightarrow$En NISTベンチマークで検出された一般化障壁ワードについて広範な解析を行う。
• 参考スコア（独自算出の注目度）: 53.23463279153577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization to unseen instances is our eternal pursuit for all data-driven models. However, for realistic task like machine translation, the traditional approach measuring generalization in an average sense provides poor understanding for the fine-grained generalization ability. As a remedy, this paper attempts to identify and understand generalization barrier words within an unseen input sentence that \textit{cause} the degradation of fine-grained generalization. We propose a principled definition of generalization barrier words and a modified version which is tractable in computation. Based on the modified one, we propose three simple methods for barrier detection by the search-aware risk estimation through counterfactual generation. We then conduct extensive analyses on those detected generalization barrier words on both Zh$\Leftrightarrow$En NIST benchmarks from various perspectives. Potential usage of the detected barrier words is also discussed.
• Abstract（参考訳）: 未知のインスタンスへの一般化は、すべてのデータ駆動モデルに対する永遠の追求です。 しかし、機械翻訳のような現実的なタスクでは、平均的な意味での一般化を測定する従来のアプローチは、きめ細かい一般化能力の理解に乏しい。 そこで本論文では,不明瞭な文中の一般化障壁語を,微細な一般化の劣化に起因して識別し,理解しようとする。 本稿では,一般化障壁単語の原理定義と,計算において扱いやすい修正版を提案する。 そこで本研究では,提案手法を改良したバリア検出法として,反事実生成による探索・認識リスク推定法を提案する。 次に,zh$\leftrightarrow$en nistベンチマークにおいて検出された一般化障壁語の広範囲な分析を行った。 検出された障壁語の使用可能性についても論じる。

関連論文リスト

• Evaluating Structural Generalization in Neural Machine Translation [13.880151307013318]
  SGETは,単語や文構造を制御して,様々な種類の合成一般化を包含するデータセットである。 ニューラルネットワーク翻訳モデルは、語彙的一般化よりも構造的一般化に苦慮していることを示す。 また、セマンティック解析と機械翻訳において、様々なタスクにおける評価の重要性を示す様々なパフォーマンストレンドを見出した。
  論文  参考訳（メタデータ） (2024-06-19T09:09:11Z)
• GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations [77.34726150561087]
  本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。 GITは勾配情報と不変変換の利用を組み合わせる。 本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2023-07-05T22:04:38Z)
• Biomedical Named Entity Recognition via Dictionary-based Synonym Generalization [51.89486520806639]
  本研究では,入力テキストに含まれる生物医学的概念をスパンベース予測を用いて認識する,新しいSynGenフレームワークを提案する。 提案手法を広範囲のベンチマークで広範囲に評価し,SynGenが従来の辞書ベースモデルよりも顕著なマージンで優れていることを確認した。
  論文  参考訳（メタデータ） (2023-05-22T14:36:32Z)
• Categorizing Semantic Representations for Neural Machine Translation [53.88794787958174]
  ソースの文脈化表現に分類を導入する。 主な考え方は、スパーシリティとオーバーフィッティングを減らして一般化を強化することである。 MTデータセットを用いた実験により,提案手法は構成一般化誤差率を24%削減することを示した。
  論文  参考訳（メタデータ） (2022-10-13T04:07:08Z)
• Understanding Robust Generalization in Learning Regular Languages [85.95124524975202]
  我々は、リカレントニューラルネットワークを用いて正規言語を学習する文脈における堅牢な一般化について研究する。 この問題に対処するための構成戦略を提案する。 構成戦略がエンド・ツー・エンド戦略よりもはるかに優れていることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-02-20T02:50:09Z)
• Out-of-domain Generalization from a Single Source: A Uncertainty Quantification Approach [17.334457450818473]
  一般化における最悪のシナリオとして,単一ソースからの領域外一般化について検討する。 目標は、単一のソースから堅牢なモデルを学び、多くの未知のディストリビューションを一般化することである。 制約に対処するために、不確実性誘導領域の一般化を提案する。
  論文  参考訳（メタデータ） (2021-08-05T23:53:55Z)
• Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms [19.186110989897738]
  一般化エラー境界は、機械学習モデルの性能を理解するために重要である。 本稿では,機械学習モデルの一般化動作を,一般化誤差モーメントに対する特徴付け(バウンド)に基づいてより洗練された分析を行う。
  論文  参考訳（メタデータ） (2021-02-03T11:38:00Z)
• Representation Based Complexity Measures for Predicting Generalization in Deep Learning [0.0]
  ディープニューラルネットワークは、非常に過度にパラメータ化されているにもかかわらず、一般化することができる。 近年の研究では、様々な観点からこの現象を検証している。 内部表現の質の観点から一般化の解釈を提供する。
  論文  参考訳（メタデータ） (2020-12-04T18:53:44Z)
• In Search of Robust Measures of Generalization [79.75709926309703]
  我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。 経験的に評価すると、これらの境界の大部分は数値的に空白である。 我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
  論文  参考訳（メタデータ） (2020-10-22T17:54:25Z)
• Stereotypical Bias Removal for Hate Speech Detection Task using Knowledge-based Generalizations [16.304516254043865]
  ヘイトスピーチ検出のための非構造化テキストデータからのバイアス緩和について検討する。 バイアスのない学習に知識に基づく一般化を活用する新しい手法を提案する。 実世界の2つのデータセット、Wikipedia Talk PagesデータセットとTwitterデータセットを用いて実験したところ、知識に基づく一般化の使用により、より良いパフォーマンスが得られることがわかった。
  論文  参考訳（メタデータ） (2020-01-15T18:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。