論文の概要: Beyond Language Models: Byte Models are Digital World Simulators

• arxiv url: http://arxiv.org/abs/2402.19155v1
• Date: Thu, 29 Feb 2024 13:38:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 14:45:14.062733
• Title: Beyond Language Models: Byte Models are Digital World Simulators
• Title（参考訳）: 言語モデルを超えて:バイトモデルはデジタルワールドシミュレータである
• Authors: Shangda Wu, Xu Tan, Zili Wang, Rui Wang, Xiaobing Li, Maosong Sun
• Abstract要約: bGPTは、デジタルワールドをシミュレートする次のバイト予測モデルである。 これは、テキスト、オーディオ、画像など、様々なモダリティにわたるパフォーマンスの特殊なモデルと一致している。 シンボリックな音楽データを変換する過程をほぼ完璧に再現し、1バイトあたり0.0011ビットの誤り率を達成した。
• 参考スコア（独自算出の注目度）: 68.91268999567473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional deep learning often overlooks bytes, the basic units of the digital world, where all forms of information and operations are encoded and manipulated in binary format. Inspired by the success of next token prediction in natural language processing, we introduce bGPT, a model with next byte prediction to simulate the digital world. bGPT matches specialized models in performance across various modalities, including text, audio, and images, and offers new possibilities for predicting, simulating, and diagnosing algorithm or hardware behaviour. It has almost flawlessly replicated the process of converting symbolic music data, achieving a low error rate of 0.0011 bits per byte in converting ABC notation to MIDI format. In addition, bGPT demonstrates exceptional capabilities in simulating CPU behaviour, with an accuracy exceeding 99.99% in executing various operations. Leveraging next byte prediction, models like bGPT can directly learn from vast binary data, effectively simulating the intricate patterns of the digital world.
• Abstract（参考訳）: 従来のディープラーニングは、デジタル世界の基本的な単位であるバイトを見落としており、すべての情報や操作がバイナリ形式でエンコードされ、操作される。 自然言語処理における次のトークン予測の成功に触発されて,デジタル世界をシミュレートする次のバイト予測モデルbGPTを導入する。 bGPTは、テキスト、オーディオ、画像を含む様々なモダリティの特殊モデルにマッチし、アルゴリズムやハードウェアの振る舞いを予測、シミュレーション、診断するための新しい可能性を提供する。 ABC表記をMIDI形式に変換する際に、1バイトあたり0.0011ビットの誤り率を達成することで、シンボリックな音楽データを変換する過程をほぼ完璧に再現した。 さらに、bGPTはCPUの動作をシミュレートする異常な能力を示し、精度は99.99%を超えている。 次のバイト予測を活用することで、bgptのようなモデルは巨大なバイナリデータから直接学習し、デジタル世界の複雑なパターンを効果的にシミュレートすることができる。

関連論文リスト

• Understanding and Mitigating Tokenization Bias in Language Models [6.418593476658017]
  State-of-the-art言語モデルは自己回帰型であり、トークンとして知られるサブワード単位で動作する。 一般的な符号化方式は、より多くのトレーニングやデータで緩和できないサンプリングバイアスを引き起こすことを示す。 トークン化データに基づいて訓練された任意の言語モデルからバイアスのない推定値を得るための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:38:02Z)
• T2S-GPT: Dynamic Vector Quantization for Autoregressive Sign Language Production from Text [59.57676466961787]
  本稿では,手話における情報密度に基づいて符号化長を調整できる新しい動的ベクトル量子化(DVA-VAE)モデルを提案する。 PHOENIX14Tデータセットを用いて実験を行い,提案手法の有効性を示した。 我々は,486時間の手話ビデオ,音声,文字起こしテキストを含むドイツ語手話データセットPHOENIX-Newsを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:06:53Z)
• Mega-TTS: Zero-Shot Text-to-Speech at Scale with Intrinsic Inductive Bias [71.94109664001952]
  Mega-TTSは、大規模な野生データで訓練された新しいゼロショットTSシステムである。 Mega-TTS はゼロショット TTS 音声編集や言語間 TTS タスクにおいて最先端 TTS システムを超えていることを示す。
  論文  参考訳（メタデータ） (2023-06-06T08:54:49Z)
• MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers [78.85346970193518]
  Megabyteは、100万バイトを超えるシーケンスのエンドツーエンドで微分可能なモデリングを可能にするマルチスケールデコーダアーキテクチャである。 実験によると、Megabyteはバイトレベルのモデルで、長い文脈言語モデリングのサブワードモデルと競合することを可能にする。 その結果、トークン化のない自己回帰配列を大規模にモデル化できる可能性が確立された。
  論文  参考訳（メタデータ） (2023-05-12T00:55:41Z)
• Adapting Transformer Language Models for Predictive Typing in Brain-Computer Interfaces [3.3961243538813837]
  本稿では,複数のワードピースレベルのトランスフォーマーLMを用いて文字予測を行い,入力タスクで評価する。 GPT-2はクリーンテキストで一番良いが、異なるLMはノイズの多い歴史に対して異なる反応をする。
  論文  参考訳（メタデータ） (2023-05-05T19:47:41Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task [86.72661027591394]
  テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。 テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。 実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-21T07:19:17Z)
• Hidden Schema Networks [3.4123736336071864]
  帰納的バイアスや明示的関係構造を通じて、新しいニューラルネットワークモデルを導入する。 このモデルは文を記号列にエンコードするが、これは偏りのあるランダム・ウォーカーが訪れたノードに対応する。 このモデルにより,ランダムなトークン列のデータセットから基底構造グラフを抽出できることを示す。
  論文  参考訳（メタデータ） (2022-07-08T09:26:19Z)
• Neural Machine Translation without Embeddings [44.129310924201604]
  多くのNLPモデルは、手作りのトークン化規則とサブワード誘導アルゴリズムによって生成されるサブワードトークンのシーケンス上で動作する。 単純な普遍的な代替手段は、すべてのコンピュータ化されたテキストを8バイトのバイト列として表現することである。 英語から10の異なる言語へのバイトバイト機械翻訳の実験では、BLEUの一貫性が向上し、文字レベルや標準のサブワードレベルモデルに匹敵する結果となった。
  論文  参考訳（メタデータ） (2020-08-21T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。