論文の概要: OOVs in the Spotlight: How to Inflect them?

• arxiv url: http://arxiv.org/abs/2404.08974v1
• Date: Sat, 13 Apr 2024 11:40:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 17:53:43.821081
• Title: OOVs in the Spotlight: How to Inflect them?
• Title（参考訳）: スポットライトのOV:どのように反射するか?
• Authors: Tomáš Sourada, Jana Straková, Rudolf Rosa,
• Abstract要約: 語彙外条件(OOV)における形態的屈折に着目した。 LSTMとTransformerに基づく2つのシーケンス・ツー・シーケンス(Sequence-to-Sequence:seq2seq)モデルである。
• 参考スコア（独自算出の注目度）: 1.0235882892795396
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We focus on morphological inflection in out-of-vocabulary (OOV) conditions, an under-researched subtask in which state-of-the-art systems usually are less effective. We developed three systems: a retrograde model and two sequence-to-sequence (seq2seq) models based on LSTM and Transformer. For testing in OOV conditions, we automatically extracted a large dataset of nouns in the morphologically rich Czech language, with lemma-disjoint data splits, and we further manually annotated a real-world OOV dataset of neologisms. In the standard OOV conditions, Transformer achieves the best results, with increasing performance in ensemble with LSTM, the retrograde model and SIGMORPHON baselines. On the real-world OOV dataset of neologisms, the retrograde model outperforms all neural models. Finally, our seq2seq models achieve state-of-the-art results in 9 out of 16 languages from SIGMORPHON 2022 shared task data in the OOV evaluation (feature overlap) in the large data condition. We release the Czech OOV Inflection Dataset for rigorous evaluation in OOV conditions. Further, we release the inflection system with the seq2seq models as a ready-to-use Python library.
• Abstract（参考訳）: 我々は、通常、最先端のシステムでは効果が低い、oo-of-vocabulary(OOV)条件における形態的インフレクションに焦点を当てる。 LSTMとTransformerに基づく2つのシーケンス・ツー・シーケンス・モデル(seq2seq)を逆行モデルとして開発した。 OOVの条件下での試験では,モルフォロジーに富むチェコ語の名詞の大規模なデータセットを自動的に抽出し,レムマと解離するデータを分割し,さらに実世界におけるOOVのネオロジズムデータセットを手動で注釈付けした。 標準的なOOV条件では、TransformerはLSTM、逆行モデル、SIGMORPHONベースラインとのアンサンブル性能の向上とともに、最高の結果を得る。 実世界のネオロジズムのOOVデータセットでは、逆行性モデルはすべてのニューラルモデルより優れています。 最後に, SIGMORPHON 2022のタスクデータから, 大規模データ条件下でのOOV評価(機能重複)において, 16言語中9言語について, 最新の結果を得た。 我々はチェコのOOVインフレクションデータセットをリリースし、OOV条件の厳密な評価を行う。 さらに,Seq2seqモデルを用いたインフレクションシステムをPythonライブラリとしてリリースする。

関連論文リスト

• Efficiency of Unsupervised Anomaly Detection Methods on Software Logs [0.0]
  本稿では,異常検出のための教師なしおよび時間効率の手法について検討する。 モデルは4つのパブリックデータセットで評価される。 単語表現付きOOV検出器は高速では最適である。精度では、OOV検出器とトリグラム表現を組み合わせると、AUC-ROC(0.846)の最高値が得られる。
  論文  参考訳（メタデータ） (2023-12-04T14:44:31Z)
• Revisit Out-Of-Vocabulary Problem for Slot Filling: A Unified Contrastive Frameword with Multi-level Data Augmentations [25.58584022851584]
  マルチレベルデータ拡張に基づくOOVロバストスロット充足モデルを提案する。 本稿では,原点サンプルと増補サンプルをまとめて表現する,一貫したコントラスト学習フレームワークを提案する。 2つのデータセットに対する実験により,従来のソタ手法よりもOOVスロットとワードの両面で優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-02-27T08:42:30Z)
• E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language Understanding and Generation [95.49128988683191]
  シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。 本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。 E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
  論文  参考訳（メタデータ） (2022-05-30T08:25:36Z)
• uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
  深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。 我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。 我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
  論文  参考訳（メタデータ） (2022-05-23T20:20:27Z)
• Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval [129.25914272977542]
  RetoMatonはデータストア上に構築された重み付き有限オートマトンである。 LM推論と並行して、このオートマトンを推論時にトラバースすることは、その複雑さを減少させる。
  論文  参考訳（メタデータ） (2022-01-28T21:38:56Z)
• Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics [78.6177778161625]
  BERTアーキテクチャにおけるNLIの一般化のケーススタディを行う。 2つの成功と3つの失敗戦略を報告し、いずれもTransformerベースのモデルがどのように一般化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2021-10-04T15:37:07Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。