論文の概要: NativeTernary: A Self-Delimiting Binary Encoding with Unary Run-Length Hierarchy Markers for Ternary Neural Network Weights, Structured Data, and General Computing Infrastructure
- arxiv url: http://arxiv.org/abs/2604.03336v1
- Date: Fri, 03 Apr 2026 06:58:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.522129
- Title: NativeTernary: A Self-Delimiting Binary Encoding with Unary Run-Length Hierarchy Markers for Ternary Neural Network Weights, Structured Data, and General Computing Infrastructure
- Title（参考訳）: NativeTernary: ニューラルネットワークの3次重み、構造化データ、一般コンピューティングインフラストラクチャのための、Unary Run-Length Hierarchy Markerによる自己決定型バイナリエンコーディング
- Abstract要約: NativeTernaryは2ビットペア空間を3つの値を表す3つのデータシンボルに分割するバイナリスキームである。
中心的なコントリビューションは、セマンティック階層の深さに単一の実行長エンコーディングを使用することである。
11はエボディメントプライマリであり、単純なORゲート検出を提供する。
00は超低消費電力CMOSシステムの代替として最適化された実装である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: BitNet b1.58 (Ma et al., 2024) demonstrates that large language models can operate entirely on ternary weights {-1, 0, +1}, yet no native binary wire format exists for such models. NativeTernary closes this gap. We present NativeTernary, a binary encoding scheme that partitions the 2-bit pair space into three data symbols representing ternary values -- either balanced {-1, 0, +1} or unsigned {0, 1, 2} -- and a reserved structural delimiter. The central contribution is the use of unary run-length encoding to represent semantic hierarchy depth: a sequence of N consecutive delimiter pairs denotes a boundary of level N, encoding character, word, sentence, paragraph, and topic boundaries at cost 2, 4, 6, 8, and 10 bits respectively -- proportional to boundary rarity. The choice of which 2-bit pair serves as the delimiter is a design parameter: {11} is the primary embodiment, offering simple OR-gate detection; {00} is an alternative embodiment optimised for ultra-low-power CMOS systems, minimising switching activity. All four bit-pair choices are covered by the patent claims. We present three encoding variants: (1) the primary scheme with {11} as sole delimiter; (2) a dual-starter variant where both {10} and {11} initiate distinct symbol namespaces; and (3) an analysis of unsigned versus balanced ternary data mappings. We describe a path toward ternary-native general computing infrastructure requiring no hardware changes, and outline applications spanning ternary neural network weight storage, hierarchical natural language encoding, edge computing, IoT and satellite telemetry, industrial sensors, automotive systems, medical devices, gaming, and financial tick data. The decoder is a 10-line stateless state machine resilient to bitstream corruption.
- Abstract（参考訳）: BitNet b1.58 (Ma et al , 2024) は、大きな言語モデルは3次重み {-1, 0, +1} で完全に動作するが、そのようなモデルにはネイティブなバイナリワイヤ形式は存在しないことを示した。
NativeTernaryはこのギャップを埋める。
2ビット対空間を3次値を表す3つのデータシンボルに分割するバイナリエンコーディングスキームであるNativeTernaryと、予約された構造デリミタを提示する。
N 連続デリミタペアのシーケンスは、レベル N の境界を表し、文字、単語、文、段落、およびトピック境界を、それぞれ2, 4, 6, 8, 10 ビットで符号化する。
2ビット対がデリミタとして機能するかという選択は、設計パラメータである: {11} は、単純なORゲート検出を提供する主要なエンボディメントであり、 {00} は超低消費電力CMOSシステム向けに最適化された代替エンボディメントであり、スイッチングアクティビティを最小化する。
4つのビットペア選択はすべて、特許請求によってカバーされている。
1) {11} を単独デリミタとする一次スキーム,(2) {10} と {11} の両方が異なるシンボル名空間を初期化する双対スターター変種,(3) 符号なしおよび平衡三元データマッピングの解析である。
ハードウェアの変更を必要とせず、三次ニューラルネットワークの重み付け、階層的自然言語エンコーディング、エッジコンピューティング、IoTおよび衛星テレメトリ、産業センサ、自動車システム、医療機器、ゲーム、ファイナンシャルティッチデータにまたがるアプリケーションの概要を述べる。
デコーダは10行のステートレスステートマシンであり、ビットストリームの破損に耐性がある。
関連論文リスト
- Unfolding the Leech Lattice: Fused Multi-Shell Decoding and VRAM Layouts for 2-Bit LLM Weights [8.550323073861415]
リーチ格子ベクトル量子化は、最強の報告された2ビット品質を独自の評価プロトコルで保持する。
本報告では, バッチ1におけるデコード相GEMVの供用コストを計測する。
論文 参考訳（メタデータ） (2026-09-02T14:26:06Z) - What actually runs: a measurement study of language model placement and decode speed on the Apple Neural Engine [0.0]
一致したモデルのサイズと精度をトレーニングし、量子化されたチェックポイントを、fp16のモデルに比例した構造で識別する。
私たちは推論中にANEのメモリコントローラのバイトカウンタを読み、コンパイラが意図したものではなく実際に実行するものを確立しました。
論文 参考訳（メタデータ） (2026-08-22T21:22:24Z) - Binary BPE: A Family of Cross-Platform Tokenizers for Binary Analysis [0.0]
本稿では,バイナリの大規模なコーパス上でトレーニングされた実行可能ファイルに対して,クロスプラットフォームなトークン化を行うBinary BPEトークン化ファミリを紹介する。
我々は,4K,8K,16K,32K,64Kトークンの語彙で訓練されたトークンライザをリリースし,体系的スケーリング研究と実践的展開の両立を可能にした。
論文 参考訳（メタデータ） (2025-11-14T22:53:03Z) - BitNet b1.58 2B4T Technical Report [118.78752947128682]
BitNet b1.58 2B4Tは、最初のオープンソースでネイティブな1ビットのLarge Language Model(LLM)を2-billionパラメータスケールで導入する。
4兆トークンのコーパスでトレーニングされたこのモデルは、言語理解、数学的推論、コーディングの習熟度、会話能力に関するベンチマークで厳格に評価されている。
論文 参考訳（メタデータ） (2025-04-16T17:51:43Z) - 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。
圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
論文 参考訳（メタデータ） (2025-04-15T22:38:38Z) - QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。
本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
論文 参考訳（メタデータ） (2023-10-25T17:24:53Z) - Latent Point Collapse on a Low Dimensional Embedding in Deep Neural Network Classifiers [0.0]
同一クラスに属する潜在表現の崩壊を単一点に誘導する手法を提案する。
提案されたアプローチは実装が簡単で、非ネイティブな機能埋め込みを大幅に改善する。
論文 参考訳（メタデータ） (2023-10-12T11:16:57Z) - BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models [77.0501668780182]
Retrieval augmentationは、大規模言語モデルにおける多くの重要な問題に対処する。
検索拡張言語モデル(LM)の実行は遅く、大量の検索されたテキストを処理するため、スケールが困難である。
1ビットベクトルを用いて各トークンを前処理するバイナリトークン表現(BTR)を導入する。
論文 参考訳（メタデータ） (2023-10-02T16:48:47Z) - Binary and Ternary Natural Language Generation [24.295815261826153]
三項ニューラルネットワークと二項ニューラルネットワークは、乗算不要な計算を可能にする。
完全精度ネットワーク上では、複数の桁の効率向上を約束する。
しかし、そのようなネットワークの最適化は非常に困難であることが証明されている。
要約および機械翻訳の下流タスクにおいて、第1次および第2次変換器モデルを示す。
論文 参考訳（メタデータ） (2023-06-02T18:01:02Z) - Input Layer Binarization with Bit-Plane Encoding [4.872439392746007]
本稿では,入力データの8ビット表現を直接利用して,第1層をバイナライズする手法を提案する。
得られたモデルは完全にバイナライズされ、第1層バイナライズアプローチはモデル独立です。
論文 参考訳（メタデータ） (2023-05-04T14:49:07Z) - Towards Diverse Binary Segmentation via A Simple yet General Gated Network [71.19503376629083]
本稿では,バイナリセグメンテーションタスクに対処するシンプルな汎用ネットワーク(GateNet)を提案する。
多段ゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに選択的に送信することができる。
我々は,アトーラスの畳み込みを改善し,新規な折り畳み畳み畳み畳み畳み込みを形成する「Fold」操作を導入した。
論文 参考訳（メタデータ） (2023-03-18T11:26:36Z) - Quantum computation on a 19-qubit wide 2d nearest neighbour qubit array [59.24209911146749]
本稿では,1次元に制約された量子ビット格子の幅と物理閾値の関係について検討する。
我々は、表面コードを用いた最小レベルのエンコーディングでエラーバイアスを設計する。
このバイアスを格子サージャリングサーフェスコードバスを用いて高レベルなエンコーディングで処理する。
論文 参考訳（メタデータ） (2022-12-03T06:16:07Z) - Towards Accurate Binary Neural Networks via Modeling Contextual
Dependencies [52.691032025163175]
既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。
本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
論文 参考訳（メタデータ） (2022-09-03T11:51:04Z) - AdaBin: Improving Binary Neural Networks with Adaptive Binary Sets [27.022212653067367]
本稿では,重みとアクティベーションを共に1ビット値に分割したBNN(Binary Neural Networks)について検討する。
最適二元集合を適応的に得るために、AdaBin と呼ばれる単純で効果的なアプローチを提案する。
ベンチマークモデルとデータセットの実験結果は、提案されたAdaBinが最先端のパフォーマンスを達成可能であることを示している。
論文 参考訳（メタデータ） (2022-08-17T05:43:33Z) - LegoNN: Building Modular Encoder-Decoder Models [117.47858131603112]
最先端のエンコーダ・デコーダモデルは、原子単位として構築され、訓練されたエンドツーエンドである。
モデルのどのコンポーネントも他のコンポーネントなしでは(再)使用できないため、部品の共有は不可能です。
LegoNNは、エンコーダ-デコーダアーキテクチャを、微調整を必要とせずに、その部品を他のタスクに適用できる方法で構築する手順である。
論文 参考訳（メタデータ） (2022-06-07T14:08:07Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - LLC: Accurate, Multi-purpose Learnt Low-dimensional Binary Codes [55.32790803903619]
本稿では,クラスだけでなくインスタンスの低次元バイナリコード(LLC)を学習するための新しい手法を提案する。
アノテーション付き属性やラベルメタデータなど,副作用は一切不要です。
学習したコードは、クラスに対して直感的な分類法を発見することによって、データの中で本質的に重要な特徴をキャプチャすることを示した。
論文 参考訳（メタデータ） (2021-06-02T21:57:52Z) - BATS: Binary ArchitecTure Search [56.87581500474093]
ニューラルアーキテクチャ検索をバイナリドメインに直接適用すると、非常に貧弱な結果が得られることを示す。
具体的には、新しいバイナリ指向検索空間を導入し、設計する。
また、CIFAR10、CIFAR100、ImageNetデータセット上に、バイナリニューラルネットワークのための新しい最先端技術も設定しました。
論文 参考訳（メタデータ） (2020-03-03T18:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。