論文の概要: GPT-OSS-20B: A Comprehensive Deployment-Centric Analysis of OpenAI's Open-Weight Mixture of Experts Model

• arxiv url: http://arxiv.org/abs/2508.16700v2
• Date: Sun, 31 Aug 2025 03:40:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-03 14:24:52.675004
• Title: GPT-OSS-20B: A Comprehensive Deployment-Centric Analysis of OpenAI's Open-Weight Mixture of Experts Model
• Title（参考訳）: GPT-OSS-20B:OpenAIのオープンウェイト混合専門家モデルの総合展開中心分析
• Abstract要約: GPT-OSS-20B (Mixture-of-Experts; 20.9B total, approx.3.61B active) を高密度ベースラインQwen3-32BとYi-34Bに対して評価した。 パラメータの17.3%がアクティブ(3.61Bは20.9B)であり、GPT-OSS-20Bはデコードスループットが31.8%高く、1000個のトークン当たりのエネルギーが25.8%低い。
• 参考スコア（独自算出の注目度）: 7.2566101637741545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a single-GPU (H100, bf16) evaluation of GPT-OSS-20B (Mixture-of-Experts; 20.9B total, approx. 3.61B active) against dense baselines Qwen3-32B and Yi-34B across multiple dimensions. We measure true time-to-first-token (TTFT), full-decode throughput (TPOT), end-to-end latency percentiles, peak VRAM with past key values (PKV) held, and energy via a consistent nvidia-smi-based sampler. At a 2048-token context with 64-token decode, GPT-OSS-20B delivers higher decode throughput and tokens per Joule than dense baselines Qwen3-32B and Yi-34B, while substantially reducing peak VRAM and energy per 1000 generated tokens; its TTFT is higher due to MoE routing overhead. With only 17.3% of parameters active (3.61B of 20.9B), GPT-OSS-20B provides about 31.8% higher decode throughput and 25.8% lower energy per 1000 generated tokens than Qwen3-32B at 2048/64, while using 31.7% less peak VRAM. Normalized by active parameters, GPT-OSS-20B shows markedly stronger per-active-parameter efficiency (APE), underscoring MoE's deployment advantages. We do not evaluate accuracy; this is a deployment-focused study. We release code and consolidated results to enable replication and extension.
• Abstract（参考訳）: GPT-OSS-20B (Mixture-of-Experts; 20.9B total, approx. 3.61B active) の高密度ベースライン Qwen3-32B と Yi-34B に対するシングルGPU (H100, bf16) の評価を行った。 我々は,真のTTFT,フルデコードスループット(TPOT),エンドツーエンドのレイテンシパーセンタイル,過去のキー値(PKV)を持つピークVRAM,一貫したnvidia-smi-based samplerによるエネルギーを測定する。 GPT-OSS-20Bは64-tokenデコードで2048のコンテキストで、密度の高いベースラインであるQwen3-32BやYi-34Bよりも高いデコードスループットとトークンを提供すると同時に、1000生成トークン当たりのピークVRAMとエネルギを大幅に削減する。 パラメータの17.3%がアクティブ(3.61Bは20.9B)であり、GPT-OSS-20BはQwen3-32Bよりも約31.8%高いデコードスループットと、Qwen3-32Bよりも25.8%低いエネルギーを2048/64で提供し、ピークVRAMは31.7%少ない。 アクティブパラメータによって正規化され、GPT-OSS-20Bは、MoEのデプロイメントの利点を裏付ける、非常に強力なパラメトリック効率(APE)を示す。 私たちは正確さを評価していません。 レプリケーションと拡張を可能にするために、コードと統合された結果をリリースします。

関連論文リスト

• SymbolicLight V2: Hybrid Neuromorphic Architecture and Sparse Execution for Low-Energy Language Inference [8.419155861590548]
  SymbolicLight V2はスパースイベント計算と連続状態処理を組み合わせる。 デジタル固定点演算を用いたAlveo U50C FPGA上でSybolicLight V2を実装した。 ROCK 5Tの4つのCortex-A76コアでは、完全なリクエストは9.80Wで65.4トークン/秒、アダプタのAC入力で生成されたトークン毎に0.151Jに達する。
  論文  参考訳（メタデータ） (2026-09-09T06:18:49Z)
• GreenBench: Benchmarking Energy Efficiency and Carbon Footprint of Open-Source LLM Inference on Apple Silicon [0.0]
  本稿では,5つのオープンソースの大規模言語モデル(LLM)のエネルギー効率,スループット,炭素フットプリントを評価するベンチマークフレームワークであるGreenBenchについて述べる。 Apple M4 Proは、持続的推論中にCPU+GPUパッケージの電力をわずか0.47W、総システム電力は8-12Wしか引き出さないことがわかった。 より小さなモデル(3-3.8B)は、より大きなモデル(7-9B)よりも2.6-4.2倍高いスループットとトークン当たりのエネルギーを最大62%削減する 私たちは、インドと米国のグリッドのCO2推定で、パッケージとシステムレベルで、トーケン毎のエネルギーを提供しています。
  論文  参考訳（メタデータ） (2026-08-24T04:46:26Z)
• RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
  Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
  論文  参考訳（メタデータ） (2026-06-23T00:17:48Z)
• From Compression to Deployment: Real-Time and Energy-Efficient FastGRNN on Ultra-Constrained Microcontrollers [0.0]
  本稿では、2つのベアメタルターゲット上に配置されたコンパクトゲートセルであるFastGRNNのエンドツーエンドのオープンソース再生について述べる。 このモデルは重量566バイトを占め、HAPTテストセット上でマクロF1 = 0.918(シード0; 5シードQ15は0.853+-0.107)を達成する。 どちらのプラットフォームも、リアルタイム50Hzのストリーミング推論(Arduinoでは9.21ms、MSP430では13ms)を維持しており、256エントリのシグモイド/タンのルックアップテーブルは30.5倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2026-06-15T19:49:38Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Once-for-All Channel Mixers (HYPERTINYPW): Generative Compression for TinyML [0.0]
  提案するHYPER-TINYPWは圧縮・アズ・ジェネレーション方式で、ほとんどのPW重みを生成された重みに置き換える。 共有マイクロMLPは、レイヤごとの小さなコードからロード時に一度PWカーネルを合成し、それらをキャッシュし、標準的な整数演算子で実行する。 商用のMCUランタイムを保存し、ワンオフでのみ追加する。
  論文  参考訳（メタデータ） (2026-03-26T01:08:52Z)
• Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
  Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。 エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
  論文  参考訳（メタデータ） (2026-02-11T07:53:51Z)
• STEP3-VL-10B Technical Report [115.89015065130127]
  STEP3-VL-10Bは、コンパクト効率とフロンティアレベルのマルチモーダルインテリジェンスとのトレードオフを再定義する軽量基盤モデルである。 そこで我々はPallel Coordinated Reasoning(PaCoRe)を実装して,テスト時間計算をスケールし,リソースをスケーラブルな知覚推論に割り当てる。 MMBenchでは92.2%、MMMUでは80.11%、AIME2025では94.43%、MathVisionでは75.95%である。
  論文  参考訳（メタデータ） (2026-01-14T17:58:24Z)
• Energy-Efficient Deep Learning for Traffic Classification on Microcontrollers [1.3124513975412255]
  本稿では,資源限定マイクロコントローラ上でのエネルギー効率の高いトラフィック分類のための実用的なディープラーニング(DL)手法を提案する。 ISCX VPN-Non-VPNデータセット上で96.59%の精度を実現するハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)により最適化された軽量な1D-CNNを開発する。 2つのマイクロコントローラにおける実世界の推論性能を評価する。
  論文  参考訳（メタデータ） (2025-06-12T16:10:22Z)
• Energy-Efficient NTT Sampler for Kyber Benchmarked on FPGA [0.8049701904919515]
  Kyberは、NIST Post-Quantum Cryptography (PQC)プロジェクトによって標準化のために選択された格子ベースの鍵カプセル化機構である。 キーバーの鍵生成過程の重要な構成要素は、環 Rq 上の一様分布から行列要素のサンプリングである。 このサンプリングに対する既存のアプローチは、リジェクションサンプリングに依存している。 本稿では,SHAKE-128からRqの要素を生成するために必要な平均ビット数を実質的に生成するModified SampleNTTを提案する。
  論文  参考訳（メタデータ） (2025-05-03T10:54:01Z)
• TeLLMe: An Energy-Efficient Ternary LLM Accelerator for Prefilling and Decoding on Edge FPGAs [5.889337608109388]
  TeLLMeは、低消費電力FPGAのための最初の3次LLMアクセラレータである。 1.58ビットの重みと8ビットのアクティベーションを使用するプリフィルと自動回帰デコードの両方をサポートする。 7Wの電力予算の下では、TeLLMeは最大9トークン/秒のスループットを1,024トークンのコンテキストで提供する。
  論文  参考訳（メタデータ） (2025-04-22T21:00:58Z)
• Fast Inference with Kronecker-Sparse Matrices [4.387337528923525]
  KS行列乗算のための既存のGPUカーネルは、高いデータ移動コストに悩まされている。 本稿では、これらのオーバーヘッドを解消する、融合した出力定常GPUカーネルを提案する。 FP32では,VT-S/16では最大22%,GPT-2媒体では16%のレイテンシ低下を示した。
  論文  参考訳（メタデータ） (2024-05-23T19:36:10Z)
• DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model [118.06260386652778]
  We present DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model characterized by economical training and efficient inference。 DeepSeek-V2は、MLA(Multi-head Latent Attention)やDeepSeekMoEといった革新的なアーキテクチャを採用している。 DeepSeek-V2はDeepSeek 67Bと比較して大幅に性能が向上し、トレーニングコストは42.5%削減された。
  論文  参考訳（メタデータ） (2024-05-07T15:56:43Z)
• Shallow Cross-Encoders for Low-Latency Retrieval [69.06104373460597]
  BERTやT5のような大きなトランスフォーマーモデルに基づくクロスエンコーダは計算コストが高く、非常に小さな遅延ウィンドウ内で少数の文書しかスコアできない。 より弱い浅層変圧器モデル(すなわち、層数が限られている変圧器)は、これらの実用的な低レイテンシ設定に制約された場合、実際にフルスケールモデルよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2024-03-29T15:07:21Z)
• From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
  本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。 提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
  論文  参考訳（メタデータ） (2024-02-02T21:25:46Z)
• EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up Knowledge Distillation [82.3956677850676]
  事前学習された言語モデルは、様々なNLPタスクにおいて顕著な結果を示した。 サイズが大きく、推論速度が遅いため、エッジデバイスにデプロイするのは困難である。 本稿では、BERTにおけるフィードフォワードネットワーク(FFN)の改善が、マルチヘッドアテンション(MHA)の改善よりも高い利益をもたらすという批判的な洞察を得る。
  論文  参考訳（メタデータ） (2021-09-15T11:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。