論文の概要: Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models

• arxiv url: http://arxiv.org/abs/2104.06483v1
• Date: Tue, 13 Apr 2021 19:51:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:24:58.918772
• Title: Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models
• Title（参考訳）: 変圧器はバグテストに合格できるか? 神経形態変化モデルにおけるチューニングコピーバイアス
• Authors: Ling Liu and Mans Hulden
• Abstract要約: より効果的にするためには、幻覚過程は個々の文字や幹よりも音節のような長さに注意を払う必要がある。 トレーニングデータとテストデータが補題に重複しない場合に、従来のデータ幻覚法よりも幻覚モデルで有意なパフォーマンス改善を報告します。
• 参考スコア（独自算出の注目度）: 9.95909045828344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning sequence models have been successfully applied to the task of morphological inflection. The results of the SIGMORPHON shared tasks in the past several years indicate that such models can perform well, but only if the training data cover a good amount of different lemmata, or if the lemmata that are inflected at test time have also been seen in training, as has indeed been largely the case in these tasks. Surprisingly, standard models such as the Transformer almost completely fail at generalizing inflection patterns when asked to inflect previously unseen lemmata -- i.e. under "wug test"-like circumstances. While established data augmentation techniques can be employed to alleviate this shortcoming by introducing a copying bias through hallucinating synthetic new word forms using the alphabet in the language at hand, we show that, to be more effective, the hallucination process needs to pay attention to substrings of syllable-like length rather than individual characters or stems. We report a significant performance improvement with our substring-based hallucination model over previous data hallucination methods when training and test data do not overlap in their lemmata.
• Abstract（参考訳）: 深層学習系列モデルは形態素変換のタスクにうまく適用されている。 過去数年間のSIGMORPHON共有タスクの結果は、そのようなモデルが良好に動作可能であることを示しているが、トレーニングデータが大量の異なるレマタをカバーしている場合、あるいはテスト時に入力されたレマタもトレーニング中に見られる場合のみ、これらのタスクは実際はそうである。 驚くべきことに、Transformerのような標準モデルは、これまで目に見えないレマタ、すなわち、インフレクションパターンを一般化するのにほとんど失敗している。 ウーグテスト」のような状況下で。 この欠点を解消するために,手話中のアルファベットを用いた合成新語形式を幻覚することで,この欠点を軽減するために確立されたデータ拡張手法を用いることができるが,より効果的にするためには,幻覚過程が個々の文字や幹ではなく音節的な長さのサブストリングに注意を払う必要があることを示す。 トレーニングデータとテストデータがレマタに重複しない場合, 従来のデータ幻覚法と比較して, サブストリングベースの幻覚モデルによる顕著な性能向上を報告した。

関連論文リスト

• Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
  既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。 人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。 本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-11-23T15:24:47Z)
• Pre-Training Multimodal Hallucination Detectors with Corrupted Grounding Data [4.636499986218049]
  マルチモーダル言語モデルは、その出力に幻覚を示し、信頼性を制限できる。 本稿では, 崩壊した地盤データを作成することにより, これらのモデルのサンプル効率を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T20:11:00Z)
• From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty [67.81977289444677]
  大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 転倒行動(シークエンス反復、退化テキスト、幻覚)を分類し、それらを広範囲に分析する。 我々の実験では、これらのすべての軸にまたがる、明確な、一貫したフォールバック動作の順序が明らかになりました。
  論文  参考訳（メタデータ） (2024-07-08T16:13:42Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Critic-Driven Decoding for Mitigating Hallucinations in Data-to-text Generation [5.304395026626743]
  入力に埋もれていないテキストの幻覚は、ニューラルネットワークによるテキスト生成においてよく知られた問題である。 生成言語モデルの確率的出力と特別な「テキスト評論家」の出力を組み合わせることで幻覚を緩和する新しい方法を提案する。 本手法では,LMのアーキテクチャやトレーニング手順の変更は不要である。
  論文  参考訳（メタデータ） (2023-10-25T20:05:07Z)
• DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination [28.599571524763785]
  ラベルノイズ(すなわち不正なデータ)が与えられた場合、ディープニューラルネットワークはラベルノイズとモデル性能を徐々に記憶する。 この問題を解消するために,カリキュラム学習を提案し,学習サンプルを有意義な順序で順序付けすることで,モデル性能と一般化を向上させる。
  論文  参考訳（メタデータ） (2022-08-21T13:38:55Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic Weight Consolidation in Neural Machine Translation [15.581515781839656]
  最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。 露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。 2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-09-13T20:37:58Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。