論文の概要: Knowledge Distillation from Language-Oriented to Emergent Communication for Multi-Agent Remote Control

• arxiv url: http://arxiv.org/abs/2401.12624v1
• Date: Tue, 23 Jan 2024 10:23:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 16:05:52.065958
• Title: Knowledge Distillation from Language-Oriented to Emergent Communication for Multi-Agent Remote Control
• Title（参考訳）: マルチエージェント遠隔制御のための言語指向から創発的コミュニケーションへの知識蒸留
• Authors: Yongjun Kim, Sejin Seo, Jihong Park, Mehdi Bennis, Seong-Lyun Kim, Junil Choi
• Abstract要約: 我々は,マルチエージェント深層学習(MADRL)に基づく創発的コミュニケーション(EC)と,人間の言語を用いた事前学習された大規模言語モデル(LLM)によって強化された言語指向意味コミュニケーション(LSC)を比較した。 位置情報とチャネルマップからなるマルチモーダル入力データであるマルチエージェント遠隔ナビゲーションタスクにおいて、LCCはLLMの規模が大きいため、高いトレーニングコストとマルチモーダルデータの使用に苦労する。 それぞれのボトルネックに対処するため,言語誘導型EC(LEC)の新たなフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 43.606918064690056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we compare emergent communication (EC) built upon multi-agent deep reinforcement learning (MADRL) and language-oriented semantic communication (LSC) empowered by a pre-trained large language model (LLM) using human language. In a multi-agent remote navigation task, with multimodal input data comprising location and channel maps, it is shown that EC incurs high training cost and struggles when using multimodal data, whereas LSC yields high inference computing cost due to the LLM's large size. To address their respective bottlenecks, we propose a novel framework of language-guided EC (LEC) by guiding the EC training using LSC via knowledge distillation (KD). Simulations corroborate that LEC achieves faster travel time while avoiding areas with poor channel conditions, as well as speeding up the MADRL training convergence by up to 61.8% compared to EC.
• Abstract（参考訳）: 本研究では,マルチエージェント・ディープ・強化学習(MADRL)に基づく創発的コミュニケーション(EC)と,事前訓練された大規模言語モデル(LLM)によって強化された言語指向意味コミュニケーション(LSC)を比較した。 マルチエージェント・リモートナビゲーションタスクでは,複数モードの入力データに位置マップとチャネルマップが組み合わされ,ecは多モードデータを使用する際に高いトレーニングコストと苦労を生じさせるが,lccはllmのサイズが大きいため高い推論計算コストをもたらすことが示されている。 それぞれのボトルネックに対処するため,知識蒸留(KD)を用いたECトレーニングを指導し,言語誘導EC(LEC)の新たな枠組みを提案する。 シミュレーションでは、LECはチャネル条件の悪い地域を避けながら移動時間を短縮し、ECと比較してMADRLのトレーニングコンバージェンスを最大61.8%高速化する。

関連論文リスト

• Code-Switching Curriculum Learning for Multilingual Transfer in LLMs [43.85646680303273]
  大規模言語モデル(LLM)は、様々なタスクにおいて、ほぼ人間レベルのパフォーマンスを示すが、その性能は、少数の高リソース言語の後、劇的に低下する。 第2言語習得の人的プロセスに触発されて,LLMの言語間移動を促進するためのCSCL(Code-Switching Curchical Learning)を提案する。 CSCLは,1)トークンレベルのコードスイッチング,2)文レベルのコードスイッチング,3)単言語コーパスからなるカリキュラムを用いて,段階的にモデルを訓練することで,人間の言語学習の段階を模倣する。
  論文  参考訳（メタデータ） (2024-11-04T06:31:26Z)
• Extracting and Transferring Abilities For Building Multi-lingual Ability-enhanced Large Language Models [104.96990850774566]
  我々は,MAETと命名された多言語能力抽出と伝達手法を提案する。 我々のキーとなる考え方は、大きな言語モデルから言語に依存しない能力に関する重みを分解し抽出することである。 実験結果から,MAETは高度能力の抽出と伝達を効果的に行うことができ,トレーニングベースライン法よりも優れることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T11:23:18Z)
• ConVerSum: A Contrastive Learning-based Approach for Data-Scarce Solution of Cross-Lingual Summarization Beyond Direct Equivalents [4.029675201787349]
  言語間の要約は自然言語処理の洗練された分野である。 高品質なCLSデータがない場合、CLSには実現可能な解決策がない。 コントラスト学習のパワーを活かしたCLSのための新しいデータ効率のアプローチであるConVerSumを提案する。
  論文  参考訳（メタデータ） (2024-08-17T19:03:53Z)
• InstructionCP: A fast approach to transfer Large Language Models into target language [55.2480439325792]
  InsCPは命令タグをCPプロセスに統合し、新しい言語を習得する際の会話能力の喪失を防ぐ。 実験の結果,InsCPは人間のフィードバック能力から会話と強化学習を維持していることがわかった。 このアプローチでは、高品質な命令追従データを0.1億トークンしか必要とせず、それによってリソース消費が減少する。
  論文  参考訳（メタデータ） (2024-05-30T15:45:13Z)
• Visual Anchors Are Strong Information Aggregators For Multimodal Large Language Model [82.93634081255942]
  本稿では,MLLMが低コストを維持しつつ高い精度を達成できるビジョン言語コネクタを提案する。 まず、視覚変換器における視覚アンカーの存在を明らかにし、それらを抽出するためのコスト効率の良い探索アルゴリズムを提案する。 Anchor former (AcFormer) は、事前学習中に得られた視覚的アンカーから得られる豊富な事前知識を活用するために設計された、新しい視覚言語コネクタである。
  論文  参考訳（メタデータ） (2024-05-28T04:23:00Z)
• Embracing Language Inclusivity and Diversity in CLIP through Continual Language Learning [58.92843729869586]
  視覚言語事前学習モデル (VL-PTMs) は近年、先進的なマルチモーダル研究を行っているが、英語のようないくつかの言語での習得は、より広いコミュニティにおける適用性を制限している。 我々は,連続言語学習(CLL)によってVL-PTMの言語能力を拡張することを提案する。 我々は,MSCOCOおよびXM3600データセットに基づく36言語をカバーするCLLベンチマークを構築し,多言語画像テキスト検索性能を評価する。
  論文  参考訳（メタデータ） (2024-01-30T17:14:05Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Multilingual Speech Recognition using Knowledge Transfer across Learning Processes [15.927513451432946]
  実験結果から,WER全体の3.55%の相対的な減少が得られた。 LEAPとSSLの組み合わせにより、言語IDを使用する場合、WER全体の3.51%が相対的に減少する。
  論文  参考訳（メタデータ） (2021-10-15T07:50:27Z)
• Improving Low-resource Reading Comprehension via Cross-lingual Transposition Rethinking [0.9236074230806579]
  Extractive Reading (ERC)は、大規模で高品質なERCトレーニングデータの提供によって、大幅に進歩した。 このような急速な進歩と広範囲の応用にもかかわらず、英語のような高リソース言語以外の言語のデータセットは依然として不足している。 多言語環境において,既存の高品質抽出読解データセットをモデル化し,XLTT(Cross-Lingual Transposition ReThinking)モデルを提案する。
  論文  参考訳（メタデータ） (2021-07-11T09:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。