論文の概要: Agent-based imitation dynamics can yield efficiently compressed population-level vocabularies

• arxiv url: http://arxiv.org/abs/2603.15903v1
• Date: Mon, 16 Mar 2026 20:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:06.982721
• Title: Agent-based imitation dynamics can yield efficiently compressed population-level vocabularies
• Title（参考訳）: エージェントベース模倣ダイナミクスは効率的に圧縮された集団レベルの語彙を生成することができる
• Authors: Nathaniel Imel, Richard Futrell, Michael Franke, Noga Zaslavsky,
• Abstract要約: 我々は進化ゲーム理論とインフォメーション・ボトルネック・フレームワークを統合する。 本研究は,不正確な戦略模倣を独立に動機づけた動態を通じて,集団に準最適圧縮が生じることを示す。 この結果から,進化ゲーム力学は,情報理論的に最適で経験的に証明された特性を持つ語彙の進化の力学的基盤となる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 5.856449791695069
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Natural languages have been argued to evolve under pressure to efficiently compress meanings into words by optimizing the Information Bottleneck (IB) complexity-accuracy tradeoff. However, the underlying social dynamics that could drive the optimization of a language's vocabulary towards efficiency remain largely unknown. In parallel, evolutionary game theory has been invoked to explain the emergence of language from rudimentary agent-level dynamics, but it has not yet been tested whether such an approach can lead to efficient compression in the IB sense. Here, we provide a unified model integrating evolutionary game theory with the IB framework and show how near-optimal compression can arise in a population through an independently motivated dynamic of imprecise strategy imitation in signaling games. We find that key parameters of the model -- namely, those that regulate precision in these games, as well as players' tendency to confuse similar states -- lead to constrained variation of the tradeoffs achieved by emergent vocabularies. Our results suggest that evolutionary game dynamics could potentially provide a mechanistic basis for the evolution of vocabularies with information-theoretically optimal and empirically attested properties.
• Abstract（参考訳）: 自然言語は、IB(Information Bottleneck)の複雑さと精度のトレードオフを最適化することで、意味を単語に効率的に圧縮する圧力の下で進化していると議論されている。 しかし、言語の語彙を効率性に最適化する基礎となる社会的ダイナミクスはほとんど不明である。 並行して、進化ゲーム理論は、初歩的なエージェントレベルの力学から言語が出現することを説明するために導入されたが、そのようなアプローチがISBの意味で効率的な圧縮に繋がるかどうかはまだ検証されていない。 本稿では、進化的ゲーム理論をIBフレームワークと統合した統一モデルを提供し、信号ゲームにおける不正確な戦略模倣の独立に動機づけられたダイナミクスを通して、集団において、近最適圧縮がどのように生じるかを示す。 モデルのキーパラメーター、すなわちこれらのゲームにおける精度を規定するパラメーターと、プレイヤーの類似した状態を混乱させる傾向は、創発的な語彙によって達成されるトレードオフの制約されたばらつきを引き起こす。 この結果から,進化ゲーム力学は,情報理論的に最適で経験的に証明された特性を持つ語彙の進化の力学的基盤となる可能性が示唆された。

関連論文リスト

• EvoSpeak: Large Language Models for Interpretable Genetic Programming-Evolved Heuristics [37.03584206625906]
  EvoSpeakは、遺伝的(GP)と大きな言語モデル(LLM)を統合する新しいフレームワークで、効率、透明性、進化の適応性を高める。 EvoSpeakはより効果的なオブジェクトを生成し、進化効率を改善し、ユーザビリティを高める人間可読レポートを提供する。
  論文  参考訳（メタデータ） (2025-10-03T03:03:14Z)
• Self-Vocabularizing Training for Neural Machine Translation [15.700883057259931]
  トレーニングされた翻訳モデルは、元のBPE語彙とは別個のBPE語彙反復を用いて、バイトペア符号化サブセット(BPE)を使用するように誘導される。 我々は,より小さく,より最適な語彙を自己選択する反復的手法である自己語彙学習を提案し,最大1.49BLEUの改善をもたらす。
  論文  参考訳（メタデータ） (2025-03-18T02:21:07Z)
• Scaling LLM Pre-training with Vocabulary Curriculum [0.0]
  本稿では,語彙サイズに対して,対数線形スケーリングゲインによる事前学習効率を向上させる手法である語彙カリキュラム学習を導入する。 提案手法は,エントロピー誘導語彙拡張とモデル最適化を交互に行い,多様なトークン化粒度にまたがる変換可能な表現を学習する。 小規模GPTモデルによる実験により,スケーリング効率が向上し,動的トークン化の有効性が向上した。
  論文  参考訳（メタデータ） (2025-02-25T07:18:29Z)
• Generative causal testing to bridge data-driven models and scientific theories in language neuroscience [82.995061475971]
  脳における言語選択性の簡潔な説明を生成するためのフレームワークである生成因果テスト(GCT)を提案する。 GCTは機能的選択性に類似した脳領域の細粒度の違いを識別できることを示す。
  論文  参考訳（メタデータ） (2024-10-01T15:57:48Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Coherent Wave Dynamics and Language Generation of a Generative Pre-trained Transformer [0.7832189413179361]
  我々は、GPT(Generative Pretrained Transformer)における隠れ状態とチャネル波のダイナミクスを解析する。 この結果から,波動力学は言語生成における文脈認識の可塑性と表現性とともに,連続的かつ繰り返し可能な固有振動モードを提供することが示された。 さらに,様々なレベルのモデル学習におけるテキストシーケンス生成におけるスペルエラーのポアソン統計について検討した。
  論文  参考訳（メタデータ） (2023-05-08T21:35:12Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。