論文の概要: Finding Fuzziness in Neural Network Models of Language Processing

• arxiv url: http://arxiv.org/abs/2104.10813v1
• Date: Thu, 22 Apr 2021 01:06:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 23:14:35.733774
• Title: Finding Fuzziness in Neural Network Models of Language Processing
• Title（参考訳）: 言語処理のニューラルネットワークモデルにおけるファジィ発見
• Authors: Kanishka Misra and Julia Taylor Rayz
• Abstract要約: ファジィメンバシップパターンに対応する言語分布統計を収集するために訓練されたモデルの範囲をテストする。 言語ヘッジの古典的ファジィ集合理論の定式化に類似したパターンを示すモデルが, 相当なノイズを伴うにもかかわらず, 得られた。
• 参考スコア（独自算出の注目度）: 0.2538209532048867
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans often communicate by using imprecise language, suggesting that fuzzy concepts with unclear boundaries are prevalent in language use. In this paper, we test the extent to which models trained to capture the distributional statistics of language show correspondence to fuzzy-membership patterns. Using the task of natural language inference, we test a recent state of the art model on the classical case of temperature, by examining its mapping of temperature data to fuzzy-perceptions such as "cool", "hot", etc. We find the model to show patterns that are similar to classical fuzzy-set theoretic formulations of linguistic hedges, albeit with a substantial amount of noise, suggesting that models trained solely on language show promise in encoding fuzziness.
• Abstract（参考訳）: 人間はしばしば不正確言語を用いてコミュニケーションし、曖昧な境界を持つファジィ概念が言語の使用において一般的であることを示す。 本稿では,ファジィメンバーシップパターンに対応する言語分布統計を収集するために訓練されたモデルについて検証する。 自然言語推論のタスクを用いて,温度データの"クール"や"ホット"といったファジィ知覚へのマッピングを調べることにより,従来の温度の場合のアートモデルの最近の状態を検証した。 言語ヘッジの古典的ファジィ集合理論の定式化に類似したパターンを示すモデルが, かなりのノイズを伴い, ファジィにのみ訓練されたモデルは, ファジィの符号化において有望であることを示す。

関連論文リスト

• Modeling Orthographic Variation in Occitan's Dialects [3.038642416291856]
  大規模多言語モデルは、前処理時のスペル正規化の必要性を最小限に抑える。 以上の結果から,複数言語モデルでは,前処理時のスペル正規化の必要性が最小限に抑えられていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-30T07:33:51Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Labeling Explicit Discourse Relations using Pre-trained Language Models [0.0]
  最先端のモデルは手作りの機能を使ってFスコアの45%をわずかに上回っている。 事前訓練された言語モデルは、微調整された場合、言語的特徴を置き換えるのに十分強力であることがわかった。 言語的な特徴を使わずに、モデルが知識集約型モデルより優れているのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-06-21T17:18:01Z)
• Overestimation of Syntactic Representationin Neural Language Models [16.765097098482286]
  構文構造を誘導するモデルの能力を決定する一般的な方法の1つは、テンプレートに従って生成された文字列上でモデルを訓練し、それらの文字列と表面的に類似した文字列を異なる構文で区別するモデルの能力をテストすることである。 本稿では,2つの非シンタクティックなベースライン言語モデルを用いた最近の論文の肯定的な結果を再現することで,このアプローチの根本的な問題を説明する。
  論文  参考訳（メタデータ） (2020-04-10T15:13:03Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。