論文の概要: Mathematically Modeling the Lexicon Entropy of Emergent Language

• arxiv url: http://arxiv.org/abs/2211.15783v1
• Date: Mon, 28 Nov 2022 21:35:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 15:54:30.184011
• Title: Mathematically Modeling the Lexicon Entropy of Emergent Language
• Title（参考訳）: 創発的言語の語彙エントロピーを数学的にモデル化する
• Authors: Brendon Boldt, David Mortensen
• Abstract要約: 我々は、深層学習に基づく創発言語システムにおける辞書エントロピーの数学的モデルとして、FiLexというプロセスを定式化する。 我々は、FiLexがハイパーパラメータとレキシコンエントロピーの正確な相関を予測できる4つの異なる環境を経験的に検証した。
• 参考スコア（独自算出の注目度）: 1.52292571922932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We formulate a stochastic process, FiLex, as a mathematical model of lexicon entropy in deep learning-based emergent language systems. Defining a model mathematically allows it to generate clear predictions which can be directly and decisively tested. We empirically verify across four different environments that FiLex predicts the correct correlation between hyperparameters (training steps, lexicon size, learning rate, rollout buffer size, and Gumbel-Softmax temperature) and the emergent language's entropy in 20 out of 20 environment-hyperparameter combinations. Furthermore, our experiments reveal that different environments show diverse relationships between their hyperparameters and entropy which demonstrates the need for a model which can make well-defined predictions at a precise level of granularity.
• Abstract（参考訳）: 深層学習に基づく創発言語システムにおける語彙エントロピーの数学的モデルとして確率過程FiLexを定式化する。 モデルを数学的に定義することで、直接かつ決定的にテスト可能な明確な予測を生成することができる。 本研究は,FiLexがハイパーパラメータ(トレーニングステップ,レキシコンサイズ,学習速度,ロールアウトバッファサイズ,Gumbel-Softmax温度)と,20の環境-ハイパーパラメータの組み合わせのうち20の創発言語エントロピーの正確な相関を予測できる4つの環境を実証的に検証した。 さらに, 実験により, 異なる環境が過度パラメータとエントロピーの関係を多様に示し, 精度の高い粒度の予測を行うモデルの必要性が示された。

関連論文リスト

• Shape Arithmetic Expressions: Advancing Scientific Discovery Beyond Closed-Form Equations [56.78271181959529]
  GAM(Generalized Additive Models)は、変数とターゲットの間の非線形関係をキャプチャできるが、複雑な特徴相互作用をキャプチャすることはできない。 本稿では,GAMのフレキシブルな形状関数と,数学的表現に見られる複雑な特徴相互作用を融合させる形状表現算術(SHARE)を提案する。 また、標準制約を超えた表現の透明性を保証するSHAREを構築するための一連のルールを設計する。
  論文  参考訳（メタデータ） (2024-04-15T13:44:01Z)
• Neural Likelihood Approximation for Integer Valued Time Series Data [0.0]
  我々は、基礎となるモデルの無条件シミュレーションを用いて訓練できるニューラルな可能性近似を構築した。 本手法は,多くの生態学的および疫学的モデルを用いて推定を行うことにより実証する。
  論文  参考訳（メタデータ） (2023-10-19T07:51:39Z)
• HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing Equations [5.279268784803583]
  本稿では,データからのスパース制御方程式の深部生成モデルを用いた動的モデリングフレームワークHyperSINDyを紹介する。 一度訓練すると、HyperSINDyは、係数が白色雑音によって駆動される微分方程式を介して力学を生成する。 実験では、HyperSINDyはデータと一致するように学習度をスケーリングすることで、基底的真理支配方程式を復元する。
  論文  参考訳（メタデータ） (2023-10-07T14:41:59Z)
• Distributional Inclusion Hypothesis and Quantifications: Probing for Hypernymy in Functional Distributional Semantics [50.363809539842386]
  関数分布意味論(FDS)は、真理条件関数による単語の意味をモデル化する。 FDSモデルは分布包含仮説(DIH)に厳格に従う制限されたコーパスのクラスでハイパーネミーを学ぶことを示す。
  論文  参考訳（メタデータ） (2023-09-15T11:28:52Z)
• Learning minimal representations of stochastic processes with variational autoencoders [52.99137594502433]
  プロセスを記述するのに必要なパラメータの最小セットを決定するために、教師なしの機械学習アプローチを導入する。 我々の手法はプロセスを記述する未知のパラメータの自律的な発見を可能にする。
  論文  参考訳（メタデータ） (2023-07-21T14:25:06Z)
• Bayesian Learning of Coupled Biogeochemical-Physical Models [28.269731698116257]
  海洋生態系の予測モデルは、様々なニーズに使われている。 希少な測定と海洋プロセスの理解が限られているため、かなりの不確実性がある。 候補モデルの空間での処理と新しいモデルの発見を可能にするベイズモデル学習手法を開発した。
  論文  参考訳（メタデータ） (2022-11-12T17:49:18Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Sparse Communication via Mixed Distributions [29.170302047339174]
  我々は「混合確率変数」の理論基盤を構築する。 本フレームワークは,混合確率変数の表現とサンプリングのための2つの戦略を提案する。 我々は、創発的な通信ベンチマークにおいて、両方のアプローチを実験する。
  論文  参考訳（メタデータ） (2021-08-05T14:49:03Z)
• Discovery of Nonlinear Dynamical Systems using a Runge-Kutta Inspired Dictionary-based Sparse Regression Approach [9.36739413306697]
  機械学習と辞書ベースの学習を数値解析ツールと組み合わせ,微分方程式の制御を探索する。 我々は、サンプリング体制を超えてよりよく一般化しやすい解釈可能で準同型モデルを得る。 生物ネットワークに通常現れる有理非線形性を含む支配方程式の拡張について論じる。
  論文  参考訳（メタデータ） (2021-05-11T08:46:51Z)
• Learning Neural Generative Dynamics for Molecular Conformation Generation [89.03173504444415]
  分子グラフから分子コンフォメーション(つまり3d構造)を生成する方法を検討した。 分子グラフから有効かつ多様なコンフォーメーションを生成する新しい確率論的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-02-20T03:17:58Z)
• Causal Discovery in Physical Systems from Videos [123.79211190669821]
  因果発見は人間の認知の中心にある。 本研究では,ビデオの因果発見の課題を,地層構造を監督せずにエンドツーエンドで検討する。
  論文  参考訳（メタデータ） (2020-07-01T17:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。