論文の概要: Robust Transmission of Punctured Text with Large Language Model-based Recovery

• arxiv url: http://arxiv.org/abs/2503.14831v1
• Date: Wed, 19 Mar 2025 02:16:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:21:58.706952
• Title: Robust Transmission of Punctured Text with Large Language Model-based Recovery
• Title（参考訳）: 大規模言語モデルを用いた文のロバスト伝送
• Authors: Sojeong Park, Hyeonho Noh, Hyun Jong Yang,
• Abstract要約: 本稿では,少数の文字を選択・送信し,受信側で欠落した文字を復元する新しいテキスト送信モデルを提案する。 また,LLM回復性能を高めるために送信文字を選択する新しい重要文字抽出器 (ICE) を提案する。 提案モデルでは,異なるデータセットやタスクにまたがるロバストな性能を示し,低信号対雑音比条件下で従来のビットベースの通信よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 3.7823924368349133
• License:
• Abstract: With the recent advancements in deep learning, semantic communication which transmits only task-oriented features, has rapidly emerged. However, since feature extraction relies on learning-based models, its performance fundamentally depends on the training dataset or tasks. For practical scenarios, it is essential to design a model that demonstrates robust performance regardless of dataset or tasks. In this correspondence, we propose a novel text transmission model that selects and transmits only a few characters and recovers the missing characters at the receiver using a large language model (LLM). Additionally, we propose a novel importance character extractor (ICE), which selects transmitted characters to enhance LLM recovery performance. Simulations demonstrate that the proposed filter selection by ICE outperforms random filter selection, which selects transmitted characters randomly. Moreover, the proposed model exhibits robust performance across different datasets and tasks and outperforms traditional bit-based communication in low signal-to-noise ratio conditions.
• Abstract（参考訳）: 近年のディープラーニングの発展に伴い,タスク指向機能のみを伝達するセマンティックコミュニケーションが急速に普及している。 しかし、特徴抽出は学習ベースモデルに依存しているため、その性能は基本的にトレーニングデータセットやタスクに依存している。 現実的なシナリオでは、データセットやタスクに関わらず、堅牢なパフォーマンスを示すモデルを設計することが不可欠である。 本稿では,少数の文字を選択・送信し,大きな言語モデル(LLM)を用いて受信機で欠落文字を復元する新しいテキスト送信モデルを提案する。 また,LLM回復性能を高めるために送信文字を選択する新しい重要文字抽出器 (ICE) を提案する。 シミュレーションにより、ICEによるフィルタ選択はランダムなフィルタ選択よりも優れており、送信文字をランダムに選択する。 さらに、提案モデルでは、異なるデータセットやタスク間で堅牢な性能を示し、低信号対雑音比条件下で従来のビットベースの通信よりも優れた性能を示す。

関連論文リスト

• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Optimal Condition Training for Target Source Separation [56.86138859538063]
  単一チャネルターゲットソース分離のための最適条件学習法を提案する。 多様な意味概念によってもたらされる相補的な情報は、興味の源泉を乱して分離するのに大いに役立ちます。
  論文  参考訳（メタデータ） (2022-11-11T00:04:55Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)
• Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization [18.791701342934605]
  Query Focused Text Summarization (QFTS)タスクは、与えられたクエリに基づいてテキストドキュメントの要約を生成するシステムを構築することを目的としている。 この課題に対処する上で重要な課題は、要約モデルをトレーニングするための大きなラベル付きデータの欠如である。 本稿では,一連のドメイン適応手法を探求することによって,この問題に対処する。
  論文  参考訳（メタデータ） (2021-12-22T05:34:56Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)
• Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction [20.644215991166902]
  DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。 提案手法は評価データセットの最先端アルゴリズムより優れている。
  論文  参考訳（メタデータ） (2020-03-10T13:05:52Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。