論文の概要: Language-Oriented Communication with Semantic Coding and Knowledge
Distillation for Text-to-Image Generation
- arxiv url: http://arxiv.org/abs/2309.11127v1
- Date: Wed, 20 Sep 2023 08:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 12:56:38.714293
- Title: Language-Oriented Communication with Semantic Coding and Knowledge
Distillation for Text-to-Image Generation
- Title(参考訳): テキスト・画像生成のための意味的符号化と知識蒸留による言語指向コミュニケーション
- Authors: Hyelin Nam, Jihong Park, Jinho Choi, Mehdi Bennis, and Seong-Lyun Kim
- Abstract要約: 我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。
LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。
1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
- 参考スコア(独自算出の注目度): 53.97155730116369
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: By integrating recent advances in large language models (LLMs) and generative
models into the emerging semantic communication (SC) paradigm, in this article
we put forward to a novel framework of language-oriented semantic communication
(LSC). In LSC, machines communicate using human language messages that can be
interpreted and manipulated via natural language processing (NLP) techniques
for SC efficiency. To demonstrate LSC's potential, we introduce three
innovative algorithms: 1) semantic source coding (SSC) which compresses a text
prompt into its key head words capturing the prompt's syntactic essence while
maintaining their appearance order to keep the prompt's context; 2) semantic
channel coding (SCC) that improves robustness against errors by substituting
head words with their lenghthier synonyms; and 3) semantic knowledge
distillation (SKD) that produces listener-customized prompts via in-context
learning the listener's language style. In a communication task for progressive
text-to-image generation, the proposed methods achieve higher perceptual
similarities with fewer transmissions while enhancing robustness in noisy
communication channels.
- Abstract(参考訳): 大規模言語モデル(LLM)と生成モデルにおける最近の進歩を新たな意味コミュニケーション(SC)パラダイムに統合することにより,言語指向意味コミュニケーション(LSC)の新たな枠組みを推し進める。
LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。
LSCの可能性を示すために,3つの革新的なアルゴリズムを紹介する。
1) テキストプロンプトをキーヘッドワードに圧縮する意味的ソースコーディング(ssc)は,プロンプトのコンテキストを維持するために,その外観を維持しつつ,プロンプトの構文本質をキャプチャする。
2) 意味チャネル符号化 (SCC) は, 単語の頭字語を同義語に置き換えることで, 誤りに対する堅牢性を向上させる。
3)リスナーの言語スタイルを学習することで,リスナーにカスタマイズされたプロンプトを生成する意味知識蒸留(SKD)。
プログレッシブテキスト・画像生成のための通信タスクにおいて,提案手法はノイズの多い通信チャネルにおいて堅牢性を高めつつ,より少ない伝送で知覚的類似性を向上する。
関連論文リスト
- Leveraging Language ID to Calculate Intermediate CTC Loss for Enhanced
Code-Switching Speech Recognition [5.3545957730615905]
ASRモデルのエンコーダの中間層に言語識別情報を導入する。
言語切替処理におけるモデルの混乱を軽減し,言語区別を暗黙的に意味する音響的特徴を生成することを目的としている。
論文 参考訳(メタデータ) (2023-12-15T07:46:35Z) - Knowledge Base Enabled Semantic Communication: A Generative Perspective [49.87439584301919]
本稿では, 意味的知識ベース(KB)の活用にひび割れを取り, 生成的セマンティックコミュニケーションの新しい時代を先導する。
セマンティックKBでは、ソースメッセージは所望の意味を損なうことなく低次元のサブスペースで特徴付けられる。
また,従来の統語的コミュニケーションや古典的意味コミュニケーションよりも生成的意味コミュニケーションの方が優れていることを示すケーススタディも提供する。
論文 参考訳(メタデータ) (2023-11-21T08:54:49Z) - Generative AI-aided Joint Training-free Secure Semantic Communications
via Multi-modal Prompts [89.04751776308656]
本稿では,多モデルプロンプトを用いたGAI支援型SemComシステムを提案する。
セキュリティ上の懸念に応えて、フレンドリーなジャマーによって支援される隠蔽通信の応用を紹介する。
論文 参考訳(メタデータ) (2023-09-05T23:24:56Z) - On decoder-only architecture for speech-to-text and large language model
integration [59.49886892602309]
Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。
我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
論文 参考訳(メタデータ) (2023-07-08T06:47:58Z) - Causal Semantic Communication for Digital Twins: A Generalizable
Imitation Learning Approach [74.25870052841226]
デジタルツイン(DT)は、物理世界の仮想表現と通信(例えば6G)、コンピュータ、人工知能(AI)技術を活用して、多くの接続されたインテリジェンスサービスを実現する。
無線システムは、厳密な通信制約下での情報意思決定を容易にするために意味コミュニケーション(SC)のパラダイムを利用することができる。
DTベースの無線システムでは,因果意味通信(CSC)と呼ばれる新しいフレームワークが提案されている。
論文 参考訳(メタデータ) (2023-04-25T00:15:00Z) - A Vector Quantized Approach for Text to Speech Synthesis on Real-World
Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。
最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。
近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-08T17:34:32Z) - Integrating Knowledge in End-to-End Automatic Speech Recognition for
Mandarin-English Code-Switching [41.88097793717185]
Code-Switching (CS) は多言語コミュニティでよく見られる言語現象である。
本稿では,マンダリン・イングリッシュCS音声におけるエンドツーエンド音声認識の検討について述べる。
論文 参考訳(メタデータ) (2021-12-19T17:31:15Z) - Improving Code-switching Language Modeling with Artificially Generated
Texts using Cycle-consistent Adversarial Networks [41.88097793717185]
コードスイッチング学習用テキストデータを人工的に生成する手法について検討する。
本稿では,単言語テキストをコードスイッチングテキストに転送するための,サイクル一貫性のある敵対的ネットワークベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-12T21:27:32Z) - Semantics-Native Communication with Contextual Reasoning [46.2484183677342]
汎用タスクのためのシステム1セマンティクスネイティブ通信(SNC)の新たなモデルを提案する。
SNCに文脈推論を取り入れ、話者が局所的にかつ反復的に自己コミュニケーションし、リスナーの独特な意味論に基づく仮想エージェントを構築する。
また,システム2 SNCは,通信信頼性を損なうことなく,SR長を大幅に削減することを示した。
論文 参考訳(メタデータ) (2021-08-12T12:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。