論文の概要: Lewis's Signaling Game as beta-VAE For Natural Word Lengths and Segments

• arxiv url: http://arxiv.org/abs/2311.04453v2
• Date: Tue, 2 Apr 2024 07:53:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 12:32:59.859648
• Title: Lewis's Signaling Game as beta-VAE For Natural Word Lengths and Segments
• Title（参考訳）: Lewis's Signaling Game as beta-VAE for Natural Word lengths and Segments
• Authors: Ryo Ueda, Tadahiro Taniguchi,
• Abstract要約: 創発的コミュニケーション(EC)の主な目標は、統計特性を自然言語と共有する言語を創出することである。 先行する選択がそれらの統計特性に影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 10.972875392165037
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a sub-discipline of evolutionary and computational linguistics, emergent communication (EC) studies communication protocols, called emergent languages, arising in simulations where agents communicate. A key goal of EC is to give rise to languages that share statistical properties with natural languages. In this paper, we reinterpret Lewis's signaling game, a frequently used setting in EC, as beta-VAE and reformulate its objective function as ELBO. Consequently, we clarify the existence of prior distributions of emergent languages and show that the choice of the priors can influence their statistical properties. Specifically, we address the properties of word lengths and segmentation, known as Zipf's law of abbreviation (ZLA) and Harris's articulation scheme (HAS), respectively. It has been reported that the emergent languages do not follow them when using the conventional objective. We experimentally demonstrate that by selecting an appropriate prior distribution, more natural segments emerge, while suggesting that the conventional one prevents the languages from following ZLA and HAS.
• Abstract（参考訳）: 進化言語学と計算言語学の亜分野として、創発的コミュニケーション(EC)は、エージェントが通信するシミュレーションで生じる創発的言語と呼ばれる通信プロトコルを研究している。 ECの主な目標は、統計特性を自然言語と共有する言語を作ることである。 本稿では,ECで頻繁に使用されるルイスのシグナリングゲームをβ-VAEとして再解釈し,その目的機能をELBOとして再構成する。 その結果,先行言語の存在を明らかにし,先行言語の選択がそれらの統計的特性に影響を及ぼすことを示す。 具体的には,単語長と区分けの性質,すなわちZipfの省略法則(ZLA)とHarrisの調音法(HAS)について述べる。 従来の目的を用いた場合,創発言語はそれに従わないことが報告されている。 実験により、適切な事前分布を選択することで、より自然なセグメントが出現し、従来のセグメントがZLAやHASに従わないことを示す。

関連論文リスト

• Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
  多言語言語モデル(MLLM)の言語間伝達能力について検討した。 本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-03-29T08:47:15Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
  この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。 自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。 このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
  論文  参考訳（メタデータ） (2023-10-10T03:06:38Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Language Model Evaluation Beyond Perplexity [47.268323020210175]
  我々は、言語モデルから生成されたテキストが、訓練された人為的なテキストに存在する統計的傾向を示すかどうかを分析する。 ニューラルネットワークモデルは、考慮された傾向のサブセットのみを学習しているように見えるが、提案された理論分布よりも経験的傾向とより密接に一致している。
  論文  参考訳（メタデータ） (2021-05-31T20:13:44Z)
• A Cognitive Regularizer for Language Modeling [36.256053903862956]
  UIDを正規化として符号化することで、言語モデルをトレーニングするための標準MLEの目的を拡大する。 UID正規化の使用は言語モデルの難易度を一貫して改善する。 また、UID正規化言語モデルはエントロピーが高く、より長く、より語彙的に多様なテキストを生成する。
  論文  参考訳（メタデータ） (2021-05-15T05:37:42Z)
• Including Signed Languages in Natural Language Processing [48.62744923724317]
  署名された言語は、聴覚障害者や難聴者のコミュニケーションの主な手段です。 このポジショニングペーパーは、NLPコミュニティに対して、社会的および科学的影響の高い研究領域として署名された言語を含めるよう求めている。
  論文  参考訳（メタデータ） (2021-05-11T17:37:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。