論文の概要: Semantic Text Transmission via Prediction with Small Language Models:
Cost-Similarity Trade-off
- arxiv url: http://arxiv.org/abs/2403.00290v1
- Date: Fri, 1 Mar 2024 05:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 18:05:34.676936
- Title: Semantic Text Transmission via Prediction with Small Language Models:
Cost-Similarity Trade-off
- Title（参考訳）: 小さな言語モデルによる予測による意味的テキスト伝達:コスト相似性トレードオフ
- Authors: Bhavani A Madhabhavi, Gangadhar Karevvanavar, Rajshekhar V Bhat and
Nikolaos Pappas
- Abstract要約: 我々は,言語固有の相関や予測可能性を利用して,送信コストを制約し,目的地の単語の予測や完全化を可能にする。
ニューラルネットワークとマルコフ連鎖に基づく1次小言語モデルに対して$(barc, bars)$ペアを得る。
雑音のないチャネル上で通信を行う場合、しきい値ポリシーは、周期的なポリシーよりも与えられた$barc$に対して高い$bars$を達成する。
- 参考スコア（独自算出の注目度）: 7.666188363531336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the communication of natural language text from a source to a
destination over noiseless and character-erasure channels. We exploit
language's inherent correlations and predictability to constrain transmission
costs by allowing the destination to predict or complete words with potential
dissimilarity with the source text. Concretely, our objective is to obtain
achievable $(\bar{c}, \bar{s})$ pairs, where $\bar{c}$ is the average
transmission cost at the source and $\bar{s}$ is the average semantic
similarity measured via cosine similarity between vector embedding of words at
the source and those predicted/completed at the destination. We obtain
$(\bar{c}, \bar{s})$ pairs for neural language and first-order Markov
chain-based small language models (SLM) for prediction, using both a threshold
policy that transmits a word if its cosine similarity with that
predicted/completed at the destination is below a threshold, and a periodic
policy, which transmits words after a specific interval and predicts/completes
the words in between, at the destination. We adopt an SLM for word completion.
We demonstrate that, when communication occurs over a noiseless channel, the
threshold policy achieves a higher $\bar{s}$ for a given $\bar{c}$ than the
periodic policy and that the $\bar{s}$ achieved with the neural SLM is greater
than or equal to that of the Markov chain-based algorithm for the same
$\bar{c}$. The improved performance comes with a higher complexity in terms of
time and computing requirements. However, when communication occurs over a
character-erasure channel, all prediction algorithms and scheduling policies
perform poorly. Furthermore, if character-level Huffman coding is used, the
required $\bar{c}$ to achieve a given $\bar{s}$ is reduced, but the above
observations still apply.
- Abstract（参考訳）: 音源から目的地への自然言語テキストの無雑音・文字消去チャネル上での通信について検討する。
我々は、言語固有の相関性と予測可能性を利用して、送信先がソーステキストと潜在的に類似性のある単語を予測または完成させることにより、送信コストを制約する。
具体的には、取得可能な$(\bar{c}, \bar{s})$ペアを得るのが目的であり、$\bar{c}$はソースにおける平均送信コストであり、$\bar{s}$はソースにおける単語のベクトル埋め込みと目的地で予測/完了された単語のコサイン類似性によって測定される平均意味的類似性である。
我々は,ニューラルネットワークと一階マルコフ連鎖に基づく小言語モデル(SLM)のペアを,目的地で予測/完了した単語と類似性のある単語がしきい値以下であれば,その単語を送信するしきい値ポリシと,特定の間隔の後に単語を送信し,目的地で単語を予測/補完する周期ポリシの両方を用いて,予測を行う。
我々は単語補完にSLMを採用する。
我々は、ノイズのないチャネル上で通信を行う場合、閾値ポリシが与えられた$\bar{c}$に対して、周期ポリシーよりも高い$\bar{s}$を達成し、ニューラルSLMで達成される$\bar{s}$が、同じ$\bar{c}$に対してマルコフ連鎖に基づくアルゴリズムのそれより大きいか等しいことを実証する。
パフォーマンスの向上は、時間とコンピューティング要件の点で、より高い複雑さを伴う。
しかし、文字消去チャネル上で通信を行う場合、全ての予測アルゴリズムとスケジューリングポリシーは不十分である。
さらに、文字レベルのハフマン符号を使用する場合、与えられた$\bar{s}$を達成するために必要な$\bar{c}$は減少するが、上記の観測は引き続き適用される。
関連論文リスト
- Coupling without Communication and Drafter-Invariant Speculative Decoding [21.19028671377106]
通信不要なプロトコルは、私たちが Drafter-Invariant Speculative Decoding と呼ぶ投機的デコーディングの変種を生成する。
通信不要なプロトコルは、Drafter-Invariant Speculative Decodingと呼ぶ投機的デコーディングの変形をもたらすことを示す。
論文 参考訳（メタデータ） (2024-08-15T06:52:24Z) - $\textit{Swap and Predict}$ -- Predicting the Semantic Changes in Words
across Corpora by Context Swapping [36.10628959436778]
目的語である$w$が2つの異なるテキストコーパス間の意味を変えるかどうかを予測する問題を考える。
本稿では,$mathcalC$と$mathcalC$をランダムに交換する教師なしの手法を提案する。
提案手法は,英文意味変化予測タスクの強いベースラインに比べて,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2023-10-16T13:39:44Z) - Cooperative Multi-Agent Reinforcement Learning: Asynchronous
Communication and Linear Function Approximation [77.09836892653176]
マルコフ決定過程の設定におけるマルチエージェント強化学習について検討した。
本稿では非同期通信が可能な値に基づく証明可能な効率的なアルゴリズムを提案する。
我々は、コラボレーションによってパフォーマンスを改善するために、最小の$Omega(dM)$通信の複雑さが必要であることを示す。
論文 参考訳（メタデータ） (2023-05-10T20:29:29Z) - Truncation Sampling as Language Model Desmoothing [115.28983143361681]
ニューラルネットワークモデルからのテキストの長いサンプルは、品質が劣る可能性がある。
トランケーションサンプリングアルゴリズムは、各ステップでいくつかの単語の確率を0に設定する。
本稿では,単語をエントロピーに依存した確率閾値以下に切り詰める$eta$-samplingを導入する。
論文 参考訳（メタデータ） (2022-10-27T05:52:35Z) - Supervised Training of Conditional Monge Maps [107.78770597815242]
最適輸送(OT)理論は、多くの可能な選択の中から確率測度を他のものにマッピングする最も効率的な方法を定義し、選択する一般的な原理を記述している。
本研究では,コンテキスト変数に条件付きOTマップの族を推定するマルチタスク手法であるCondOTを紹介する。
本研究では,CondOTの遺伝的・治療的摂動の任意の組み合わせが単一細胞に与える影響を推測する能力を示す。
論文 参考訳（メタデータ） (2022-06-28T19:34:44Z) - Quantum Resources Required to Block-Encode a Matrix of Classical Data [56.508135743727934]
回路レベルの実装とリソース推定を行い、古典データの高密度な$Ntimes N$行列をブロックエンコードして$epsilon$を精度良くすることができる。
異なるアプローチ間のリソーストレードオフを調査し、量子ランダムアクセスメモリ(QRAM)の2つの異なるモデルの実装を検討する。
我々の結果は、単純なクエリの複雑さを超えて、大量の古典的データが量子アルゴリズムにアクセスできると仮定された場合のリソースコストの明確な図を提供する。
論文 参考訳（メタデータ） (2022-06-07T18:00:01Z) - Communication-efficient SGD: From Local SGD to One-Shot Averaging [16.00658606157781]
複数の作業者に対して並列化することで,勾配降下(SGD)の高速化を検討する。
そこで本研究では,反復数の増加に伴って通信頻度を小さくすることで,全体の通信を減らし,局所的なSGD方式を提案する。
論文 参考訳（メタデータ） (2021-06-09T01:10:34Z) - Sparse Normal Means Estimation with Sublinear Communication [13.257075075199781]
通信制約のある分散環境における正規平均推定の問題点を考察する。
信号対雑音比(SNR)がわずかに高くなると、$mu$のサポートはより少ない通信で正確に回復できることを示す。
論文 参考訳（メタデータ） (2021-02-05T08:52:25Z) - Improved Sample Complexity for Incremental Autonomous Exploration in
MDPs [132.88757893161699]
我々は $epsilon$-optimal 目標条件付きポリシーのセットを学び、$ L$ ステップ内で段階的に到達可能なすべての状態を達成します。
DisCoは、コストに敏感な最短経路問題に対して$epsilon/c_min$-optimalポリシーを返すことができる最初のアルゴリズムです。
論文 参考訳（メタデータ） (2020-12-29T14:06:09Z) - List-Decodable Mean Estimation in Nearly-PCA Time [50.79691056481693]
高次元におけるリストデコタブル平均推定の基本的な課題について検討する。
我々のアルゴリズムは、すべての$k = O(sqrtd) cup Omega(d)$に対して$widetildeO(ndk)$で実行されます。
我々のアルゴリズムの変種は、すべての$k$に対してランタイム$widetildeO(ndk)$を持ち、リカバリ保証の$O(sqrtlog k)$ Factorを犠牲にしている。
論文 参考訳（メタデータ） (2020-11-19T17:21:37Z) - Capacity Approaching Coding for Low Noise Interactive Quantum
Communication, Part I: Large Alphabets [15.078027648304115]
ノイズの多いチャネル上での双方向の対話型量子通信を実現する際の問題点を考察する。
$mathrmpoly(n)$ sizeアルファベット上のノイズのないquditチャネルの場合、主な結果は2-theta(nepsilon)$未満の確率で失敗するシミュレーション手法である。
我々は、$sqrtepsilon$項の定数係数まで最適であると推測する。
論文 参考訳（メタデータ） (2020-01-09T02:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。