論文の概要: Searching for Search Errors in Neural Morphological Inflection

• arxiv url: http://arxiv.org/abs/2102.08424v1
• Date: Tue, 16 Feb 2021 19:42:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 14:38:43.844009
• Title: Searching for Search Errors in Neural Morphological Inflection
• Title（参考訳）: 神経形態変化における探索誤差の探索
• Authors: Martina Forster, Clara Meister, Ryan Cotterell
• Abstract要約: 単語レベルのタスクでは、ニューラルシークエンス・トゥ・シークエンスモデルの正確な推論は、空文字列がしばしば世界最適であることを明らかにする。 これらの観察は、多くのニューラルモデルのキャリブレーションが低いことは、タスクの特定のサブセットの特性に起因する可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 40.011530606430895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural sequence-to-sequence models are currently the predominant choice for language generation tasks. Yet, on word-level tasks, exact inference of these models reveals the empty string is often the global optimum. Prior works have speculated this phenomenon is a result of the inadequacy of neural models for language generation. However, in the case of morphological inflection, we find that the empty string is almost never the most probable solution under the model. Further, greedy search often finds the global optimum. These observations suggest that the poor calibration of many neural models may stem from characteristics of a specific subset of tasks rather than general ill-suitedness of such models for language generation.
• Abstract（参考訳）: ニューラルシークエンス・トゥ・シークエンスモデルは現在、言語生成タスクの主たる選択である。 しかし、単語レベルのタスクでは、これらのモデルの正確な推論が空文字列がしばしば大域的最適であることを示している。 以前の研究では、この現象は言語生成のためのニューラルモデルの不十分の結果であると推測されている。 しかし、形態学的帰納法の場合、空文字列はモデルの下では最も可能性の高い解ではないことが分かる。 さらに、欲求検索はしばしばグローバルな最適条件を見つける。 これらの観察から、多くのニューラルモデルの不適切なキャリブレーションは、言語生成のためのモデルの一般的な不適合性よりも、タスクの特定のサブセットの特性に起因している可能性が示唆されている。

関連論文リスト

• Morphological Inflection with Phonological Features [7.245355976804435]
  本研究は,形態素モデルがサブキャラクタの音韻的特徴にアクセスできる様々な方法で得られる性能への影響について検討する。 我々は、浅いグラフ-音素マッピングを持つ言語に対する言語固有の文法を用いて、標準グラフデータから音素データを抽出する。
  論文  参考訳（メタデータ） (2023-06-21T21:34:39Z)
• A Natural Bias for Language Generation Models [31.44752136404971]
  我々は、一グラムの周波数統計を先行知識として反映した別個のモジュールで、標準のニューラルネットワーク生成モデルを実現することができることを示す。 この単純なテクニックのテストベッドとしてニューラルマシン翻訳を使用し、(i)学習効率の向上、(ii)全体的なパフォーマンスの向上、そしておそらく最も重要なことは、強い周波数効果を歪めているように見えることです。
  論文  参考訳（メタデータ） (2022-12-19T18:14:36Z)
• A Non-monotonic Self-terminating Language Model [62.93465126911921]
  本稿では,不完全復号アルゴリズムによる非終端列の問題に焦点をあてる。 まず、グリーディ探索、トップ$kのサンプリング、核サンプリングを含む不完全確率復号アルゴリズムを定義する。 次に,単調な終端確率の制約を緩和する非単調な自己終端言語モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-03T00:28:44Z)
• Typical Decoding for Natural Language Generation [76.69397802617064]
  本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。 典型的なサンプリングでは,品質面での競争性能が期待できる。
  論文  参考訳（メタデータ） (2022-02-01T18:58:45Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Finding Fuzziness in Neural Network Models of Language Processing [0.2538209532048867]
  ファジィメンバシップパターンに対応する言語分布統計を収集するために訓練されたモデルの範囲をテストする。 言語ヘッジの古典的ファジィ集合理論の定式化に類似したパターンを示すモデルが, 相当なノイズを伴うにもかかわらず, 得られた。
  論文  参考訳（メタデータ） (2021-04-22T01:06:14Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。