Fugu-MT 論文翻訳(概要): Modeling Emergent Lexicon Formation with a Self-Reinforcing Stochastic Process

論文の概要: Modeling Emergent Lexicon Formation with a Self-Reinforcing Stochastic Process

arxiv url: http://arxiv.org/abs/2206.11146v1
Date: Wed, 22 Jun 2022 14:47:24 GMT
ステータス: 処理完了
システム内更新日: 2022-06-23 18:28:34.587781
Title: Modeling Emergent Lexicon Formation with a Self-Reinforcing Stochastic Process
Title（参考訳）: 自己強化確率過程による創発的語彙形成のモデル化
Authors: Brendon Boldt, David Mortensen
Abstract要約: 創発言語実験において有限語彙をモデル化する自己強化プロセスFiLexを紹介する。理論モデルとして、FiLexは創発言語システムの振る舞いを説明・予測する手段として機能する。
参考スコア（独自算出の注目度）: 1.52292571922932
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce FiLex, a self-reinforcing stochastic process which models finite lexicons in emergent language experiments. The central property of FiLex is that it is a self-reinforcing process, parallel to the intuition that the more a word is used in a language, the more its use will continue. As a theoretical model, FiLex serves as a way to both explain and predict the behavior of the emergent language system. We empirically test FiLex's ability to capture the relationship between the emergent language's hyperparameters and the lexicon's Shannon entropy.
Abstract（参考訳）: 創発言語実験において有限語彙をモデル化する自己強化確率過程FiLexを導入する。 FiLexの中心的な性質は、単語が言語で使われるほど、その使用が続くという直感と並行して、自己強化プロセスであることである。理論的モデルとして、filexは、創発的な言語システムの振る舞いを説明し予測する手段として機能する。我々は,創発的言語のハイパーパラメータとレキシコンのシャノンエントロピーの関係を捉えるfilexの能力について実証的に検証する。

関連論文リスト

Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文参考訳（メタデータ） (2024-02-13T02:46:45Z)
Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
論文参考訳（メタデータ） (2023-10-23T12:03:01Z)
FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。 FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
論文参考訳（メタデータ） (2023-10-15T19:37:39Z)
Lexinvariant Language Models [84.2829117441298]
離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
論文参考訳（メタデータ） (2023-05-24T19:10:46Z)
Mathematically Modeling the Lexicon Entropy of Emergent Language [1.52292571922932]
我々は、深層学習に基づく創発言語システムにおける辞書エントロピーの数学的モデルとして、FiLexというプロセスを定式化する。我々は、FiLexがハイパーパラメータとレキシコンエントロピーの正確な相関を予測できる4つの異なる環境を経験的に検証した。
論文参考訳（メタデータ） (2022-11-28T21:35:24Z)
Lexical Generalization Improves with Larger Models and Longer Training [42.024050065980845]
本稿では,自然言語推論,パラフレーズ検出,読解理解における語彙重なりの活用について分析する。より大型のモデルでは、語彙的な重複を採用することへの感受性がはるかに低いことが分かりました。
論文参考訳（メタデータ） (2022-10-23T09:20:11Z)
Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
論文参考訳（メタデータ） (2022-07-01T17:24:11Z)
The Return of Lexical Dependencies: Neural Lexicalized PCFGs [103.41187595153652]
語彙化PCFGのニューラルモデルを提案する。実験により、この統一されたフレームワークは、いずれかの形式主義単独で達成されるよりも、両方の表現に対してより強い結果をもたらすことが示された。
論文参考訳（メタデータ） (2020-07-29T22:12:49Z)
Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
論文参考訳（メタデータ） (2020-06-11T17:02:20Z)
A Discriminative Latent-Variable Model for Bilingual Lexicon Induction [100.76471407472599]
本稿では,バイリンガルレキシコン誘導のための新しい識別潜在変数モデルを提案する。我々のモデルは、Haghighi et al. (2008) 以前の二部語マッチング辞書と表現に基づくアプローチを組み合わせたものである。
論文参考訳（メタデータ） (2018-08-28T14:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。