論文の概要: VQEL: Enabling Self-Developed Symbolic Language in Agents through Vector Quantization in Emergent Language Games

• arxiv url: http://arxiv.org/abs/2503.04940v1
• Date: Thu, 06 Mar 2025 20:15:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:24:33.220222
• Title: VQEL: Enabling Self-Developed Symbolic Language in Agents through Vector Quantization in Emergent Language Games
• Title（参考訳）: VQEL:創発的言語ゲームにおけるベクトル量子化によるエージェントの自己発達型シンボリック言語の実現
• Authors: Mohammad Mahdi Samiei Paqaleh, Mahdieh Soleymani Baghshah,
• Abstract要約: VQELは、ベクトル量子化をエージェントのアーキテクチャに組み込む新しい方法である。 これにより、セルフプレイの参照ゲームにおいて、個別のシンボル表現を自律的に発明し、開発することができる。 実験の結果, VQELは従来のREINFORCE法に勝るだけでなく, 制御性の向上や, 崩壊に対する感受性の低下による効果も示された。
• 参考スコア（独自算出の注目度）: 2.9948666437769713
• License:
• Abstract: In the field of emergent language, efforts have traditionally focused on developing communication protocols through interactions between agents in referential games. However, the aspect of internal language learning, where language serves not only as a communicative tool with others but also as a means for individual thinking, self-reflection, and problem-solving remains underexplored. Developing a language through self-play, without another agent's involvement, poses a unique challenge. It requires an agent to craft symbolic representations and train them using direct gradient methods. The challenge here is that if an agent attempts to learn symbolic representations through self-play using conventional modeling and techniques such as REINFORCE, the solution will offer no advantage over previous multi-agent approaches. We introduce VQEL, a novel method that incorporates Vector Quantization into the agents' architecture, enabling them to autonomously invent and develop discrete symbolic representations in a self-play referential game. Following the self-play phase, agents can enhance their language through reinforcement learning and interactions with other agents in the mutual-play phase. Our experiments across various datasets demonstrate that VQEL not only outperforms the traditional REINFORCE method but also benefits from improved control and reduced susceptibility to collapse, thanks to the incorporation of vector quantization.
• Abstract（参考訳）: 創発的言語の分野では、伝統的に、参照ゲームにおけるエージェント間の相互作用を通じてコミュニケーションプロトコルを開発することに注力してきた。 しかし、言語が他者とのコミュニケーションツールとして機能するだけでなく、個人の思考、自己回帰、問題解決の手段としても機能する内部言語学習の側面はいまだ過小評価されている。 他のエージェントの関与なしに、セルフプレイで言語を開発することは、ユニークな課題である。 シンボリック表現を作成し、直接勾配法を使ってそれらを訓練するエージェントが必要です。 ここでの課題は、もしエージェントが従来のモデリングやREINFORCEのようなテクニックを使って自己表現を通じて記号表現を学習しようとすると、このソリューションは従来のマルチエージェントアプローチに勝るものではないということだ。 本稿では,ベクトル量子化をエージェントのアーキテクチャに組み込んだ新しい手法であるVQELを紹介する。 セルフプレイフェーズの後、エージェントは、相互プレイフェーズにおける強化学習と他のエージェントとのインタラクションを通じて、言語を強化することができる。 VQELは従来のREINFORCE法よりも優れているだけでなく、ベクトル量子化の導入により制御の改善と崩壊に対する感受性の低下によるメリットも示している。

関連論文リスト

• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• Agents: An Open-source Framework for Autonomous Language Agents [98.91085725608917]
  我々は、言語エージェントを人工知能への有望な方向と見なしている。 Agentsはオープンソースライブラリで、これらの進歩を広く非専門的な聴衆に開放することを目的としています。
  論文  参考訳（メタデータ） (2023-09-14T17:18:25Z)
• Cognitive Architectures for Language Agents [44.89258267600489]
  言語エージェントのための認知アーキテクチャ(CoALA)を提案する。 CoALAはモジュラーメモリコンポーネントを備えた言語エージェント、内部メモリと外部環境と相互作用する構造化されたアクションスペース、アクションを選択するための一般的な意思決定プロセスを記述する。 我々は、CoALAを使用して、振り返りによる調査と、最近の多くの作業の組織化を行い、より有能なエージェントに対する行動可能な方向を前向きに特定します。
  論文  参考訳（メタデータ） (2023-09-05T17:56:20Z)
• Retroformer: Retrospective Large Language Agents with Policy Gradient Optimization [103.70896967077294]
  本稿では,レトロスペクティブモデルを学習することで,大規模言語エージェントを強化するための原則的枠組みを提案する。 提案するエージェントアーキテクチャは,事前学習した言語モデルを微調整するために,複数の環境やタスクにまたがる報酬から学習する。 様々なタスクの実験結果から、言語エージェントは時間とともに改善することが示された。
  論文  参考訳（メタデータ） (2023-08-04T06:14:23Z)
• Learning to Infer Belief Embedded Communication [9.862909791015237]
  本稿ではエージェントの言語学習能力を模倣する新しいアルゴリズムを提案する。 過去の行動に対応する他のエージェントの意図を復号するための知覚モジュールを含んでいる。 また、2つ以上のエージェントとの通信中に暗黙の文法を学ぶための言語生成モジュールも含まれている。
  論文  参考訳（メタデータ） (2022-03-15T12:42:10Z)
• Multi-lingual agents through multi-headed neural networks [0.0]
  本稿では,協調型マルチエージェント強化学習について述べる。 この文脈では、複数の異なる非互換言語が出現する。 我々は、連続学習の文献からインスピレーションを得て、エージェントを多言語化できるように、エージェントにマルチヘッドニューラルネットワークを装備する。
  論文  参考訳（メタデータ） (2021-11-22T11:39:42Z)
• Emergent Discrete Communication in Semantic Spaces [3.2280079436668996]
  本稿では,学習された連続空間から導出される離散トークンを介してエージェントが通信できるようにするニューラルエージェントアーキテクチャを提案する。 決定論の枠組みでは、我々の手法は幅広いシナリオでコミュニケーションを最適化するが、一方1ホットトークンは制約的な仮定の下では最適である。 セルフプレイ実験では、訓練されたエージェントが意味論的に意味のある方法でトークンをクラスタリングすることを学び、ノイズの多い環境でコミュニケーションできることを検証する。
  論文  参考訳（メタデータ） (2021-08-04T03:32:48Z)
• Multitasking Inhibits Semantic Drift [46.71462510028727]
  潜在言語政策(LLP)における学習のダイナミクスについて検討する。 LLPは長距離強化学習の課題を解くことができる。 これまでの研究では、LPPトレーニングは意味的ドリフトの傾向が見られた。
  論文  参考訳（メタデータ） (2021-04-15T03:42:17Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• On the interaction between supervision and self-play in emergent communication [82.290338507106]
  本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。 人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
  論文  参考訳（メタデータ） (2020-02-04T02:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。