Fugu-MT 論文翻訳(概要): pico-type: A 1.5M-Parameter Byte-Level Multi-Head Content Classifier

論文の概要: pico-type: A 1.5M-Parameter Byte-Level Multi-Head Content Classifier

arxiv url: http://arxiv.org/abs/2608.14658v1
Date: Fri, 31 Jul 2026 12:20:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-23 14:54:39.948219
Title: pico-type: A 1.5M-Parameter Byte-Level Multi-Head Content Classifier
Title（参考訳）: ピコ型:1.5Mパラメータバイトレベルマルチヘッドコンテンツ分類器
Abstract要約: pico-typeはバイトレベルのマルチヘッドコンテンツ分類システムである。同時に、raw-8バイトから7つのコンテンツ特性を1つのフォワードパスで予測する。このアーキテクチャは、学習されたバイトの埋め込み、3つの畳み込みブロックと、成長する受容場、回転位置エンコーディングを持つ2つの双方向の注意層と、7つのマトリオシカスタイルの分類ヘッドを供給している統計プール層を組み合わせている。 4つのネクタイ付き変種(tiny/small/base/pro)は、16から576次元のスライスされた表現で同じトランクを共有し、210KB未満のONNXエクスポートと10ms以下のCPU推論を生成する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce pico-type, a byte-level multi-head content classifier with approximately 1.5 million parameters that simultaneously predicts seven content properties from raw UTF-8 bytes in a single forward pass. Operating directly at the byte level -- no tokenizer, no subword vocabulary, no pretrained embeddings -- pico-type classifies coarse type (12 classes), modality (8), subtype (24), code language (62), text language (30), file MIME type (90), and risk flags (6-label multi-label: API keys, JWTs, passwords, emails, phone numbers, SSH keys). The architecture combines a learned byte embedding, three convolutional blocks with growing receptive fields, two bidirectional attention layers with rotary position encodings, and a statistical pooling layer feeding seven Matryoshka-style classification heads. Four tiered variants (tiny/small/base/pro) share the same trunk with sliced representations from 16 to 576 dimensions, yielding ONNX exports under 210 KB and CPU inference under 10 ms. Trained on a mixture of synthetic templates and real-world data (8709 GitHub code samples, 5000 Wikipedia articles), pico-type achieves 60.3 percent code language accuracy on The Heap benchmark (24 languages) and 98.2 percent text language accuracy on Wikipedia (30 languages) -- improvements of +57 and +79 percentage points respectively over the synthetic-only baseline. Format-based heads (coarse, modality, subtype, file_mime, risk) maintain 100 percent accuracy on synthetic benchmarks. The model, code, and pretrained weights are released under Apache 2.0.
Abstract（参考訳）: 約150万のパラメータを持つバイトレベルのマルチヘッドコンテンツ分類器であるPico-typeを導入し,1つのフォワードパスで生のUTF-8バイトから7つのコンテンツ特性を同時に予測する。 pico-typeは粗い型(12のクラス)、モダリティ(8)、サブタイプ(24)、コード言語(62)、テキスト言語(30)、ファイルMIMEタイプ(90)、リスクフラグ(6ラベルのマルチラベル:APIキー、JWT、パスワード、Eメール、電話番号、SSHキー)を分類する。このアーキテクチャは、学習されたバイトの埋め込み、3つの畳み込みブロックと、成長する受容場、回転位置エンコーディングを持つ2つの双方向の注意層と、7つのマトリオシカスタイルの分類ヘッドを供給している統計プール層を組み合わせている。合成テンプレートと実世界のデータ(8709のGitHubコードサンプル、5000のWikipedia記事)、ピコタイプは、The Heapベンチマーク(24言語)と98.2%のテキスト言語精度 -- 合成専用ベースラインよりも、+57と+79の比率でそれぞれ改善されている。フォーマットベースのヘッド(粗さ、モダリティ、サブタイプ、file_mime、リスク)は、合成ベンチマークで100%精度を維持する。モデル、コード、トレーニング済みの重み付けはApache 2.0でリリースされている。

関連論文リスト

Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。 BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。 5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
論文参考訳（メタデータ） (2026-08-26T22:56:24Z)
Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention [0.0]
我々は, 事前学習をせずに, 450-700Kパラメータの分類に基づく強いベースラインと, バイトレベルのアテンションフリーアーキテクチャを一致させることができることを示した。我々は「テキストのように読む」ための非パラメトリックなゲーム抵抗楽器FORM DISTANCEを紹介する。また,4つのアーキテクチャ追加が役に立たないことを報告し,その5分の1のパラメータで,学習テーブルのトップ1の精度の94%に達する計算辞書を作成した。
論文参考訳（メタデータ） (2026-08-05T10:44:26Z)
BHARATI: Morphology-Aware Tokenizers for Classical Indian Languages with Subword Fertility Analysis [0.0]
本稿では、7つの言語にまたがるバランスのとれた741MBコーパスでトレーニングされたSentencePiece BPEトークンの集合であるBharaTIについて述べる。 v1(英語とサンスクリット語のみ)、v2(タミル語でバイトフォールバックをサポートする4言語サポート)、v3(フル7言語ネイティブサブワードカバレッジ)の3つの連続したトークン化バージョンについて説明する。サブワードの肥大分析によると、v3はインド知識システム(IKS)の技術用語当たり平均2.6トークンであり、GPT-2のトークン化器では年間5.25トークン、多言語SentencePieceベースラインでは3.75トークンである。
論文参考訳（メタデータ） (2026-07-25T18:23:06Z)
Text2DSL: LLM-Based Code Generation for Domain-Specific Languages [78.29352305480285]
本稿では、自然言語記述からDSLコードを自動的に生成するタスクであるText2を定式化する。我々は,PolkitBenchデータセットを導入し,4,204個の自然言語対を検証した。
論文参考訳（メタデータ） (2026-06-21T16:44:20Z)
Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文参考訳（メタデータ） (2026-06-02T07:01:33Z)
Bilingual Text-to-Motion Generation: A New Benchmark and Baselines [52.71312720094036]
LLMアノテーションと厳密な手動修正によって構築されたバイリンガルテキスト・モーション・ベンチマークであるBiHumanML3Dを紹介する。また,CLA(Cross-Lingual Alignment)を用いたバイリンガルモーション拡散合成(BiMD)を提案する。 CLA を用いた BiMD は 0.045 対 0.169 対 R@3 対 80.8% の FID を達成し、単言語拡散モデルと BiHumanML3D の翻訳ベースラインを著しく上回っている。
論文参考訳（メタデータ） (2026-03-26T08:48:27Z)
Nacrith: Neural Lossless Compression via Ensemble Context Modeling and High-Precision CDF Coding [0.0]
本研究では,自然言語テキストにおいて評価されたシステム間で最高の圧縮結果を得る圧縮システムであるNacrithについて述べる。このシステムは500MBのGGUF重量と1ワーカーあたり1.2GBのVRAMしか必要としない。 Alice29 (Canterbury Corpus, 152 KB) では、Nacrith は 0th-, 1st-, 2nd-order Shannon entropy 境界以下で 0.918bits per byte (bpb) を達成する。
論文参考訳（メタデータ） (2026-02-23T09:14:05Z)
AICC: Parse HTML Finer, Make Models Better -- A 7.3T AI-Ready Corpus Built by a Model-Based HTML Parser [54.623900859999424]
我々は、コンテンツ抽出をシーケンスラベリング問題として再構成する新しい抽出パイプラインであるMinerU-HTMLを紹介する。 MainWebBenchでは、7,887の注釈付きWebページ、MinerU-HTML 81.8%のROUGE-N F1をTrfilaturaの63.6%と比較した。
論文参考訳（メタデータ） (2025-11-20T14:15:23Z)
Back to Bytes: Revisiting Tokenization Through UTF-8 [25.766926865651936]
我々は,テキストの8-8エンコーディングに対応するIDに,テキストを正確にマッピングする最小限のバイトレベルトークンを提供する。我々の実装は決してアウト・オブ・レンジIDを導入しない。
論文参考訳（メタデータ） (2025-10-19T20:06:12Z)
A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
論文参考訳（メタデータ） (2025-09-30T11:30:08Z)
A Machine Learning-Based Framework for Assessing Cryptographic Indistinguishability of Lightweight Block Ciphers [1.5953412143328967]
Indistinguishabilityは暗号セキュリティの基本原則であり、IoT(Internet of Things)デバイス間で送信されるデータの保護に不可欠である。本研究では,暗号化システムにおける不明瞭性評価における機械学習(ML)の能力について検討する。 MIND-Cryptは、軽量ブロック暗号の暗号不一致性を評価するために設計されたMLベースの新しいフレームワークである。
論文参考訳（メタデータ） (2024-05-30T04:40:13Z)
Mixtral of Experts [57.411379935325435]
Mixtral 8x7Bはスパース・ミックス・オブ・エキスパートズ(SMOE)言語モデルである。 Mixtralは数学、コード生成、多言語ベンチマークでLlama 270Bをはるかに上回っている。また、GPT-3.5 Turbo、Claude-2.1、Gemini Pro、Llama 2 70Bを超越したMixtral 8x7B - Instructという命令に従うように微調整されたモデルも提供する。
論文参考訳（メタデータ） (2024-01-08T18:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。