論文の概要: Parameter Golf: What Really Works?
- arxiv url: http://arxiv.org/abs/2607.01517v1
- Date: Wed, 01 Jul 2026 22:29:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.607991
- Title: Parameter Golf: What Really Works?
- Title（参考訳）: パラメータゴルフ:何が本当にうまくいくのか?
- Abstract要約: Golf氏はこの質問を、参加者が最高の言語モデルを訓練するオープンコミュニティの課題として挙げた。
品質はバイト単位のビット数 (BPB) で測定された。
2,037件のプルリクエストと1,430件のクリーンスコアリクエストを分析し,84の最適化手法の分類を構築し,各テクニックのBPBへの貢献度を測定した。
- 参考スコア（独自算出の注目度）: 3.1411048327150546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How far can a language model improve under a strict artifact budget? Parameter Golf posed this question as an open community challenge in which participants trained the best language model, with the complete artifact (training code + compressed weights) required to fit within 16 MB and be trained in under ten minutes on 8xH100 SXM GPUs. Quality was measured in bits-per-byte (BPB), the average number of bits required to encode each byte of unseen text. We analyze 2,037 pull requests and 1,430 clean scored submissions from the contest, build a taxonomy of 84 optimization techniques, and measure each technique's contribution to BPB. The verified leaderboard score dropped from 1.2244 to 1.058 BPB across three phases -- a 13.6% reduction, despite individual techniques rarely improving BPB by more than 1%. We show that most gains in techniques shrink across competitive submissions, isolating the few methods that improve performance across stacks.
- Abstract（参考訳）: 厳格なアーティファクト予算の下で、言語モデルはどこまで改善できるのか?
パラメータゴルフは、参加者が最高の言語モデルを訓練し、完全なアーティファクト(トレーニングコードと圧縮重量)を16MB以内に適合させ、8xH100 SXM GPUで10分未満でトレーニングする、というオープンコミュニティの課題として、この問題を提起した。
品質はバイト単位のビット数 (BPB) で測定された。
2,037件のプルリクエストと1,430件のクリーンスコアリクエストを分析し,84の最適化手法の分類を構築し,各テクニックのBPBへの貢献度を測定した。
スコアは3段階で1.2244から1.058 BPBに下がったが、個々の技術でBPBを1%以上改善することはめったにないものの、13.6%の減少となった。
競争力のある提案にまたがって、ほとんどのテクニックの利益が減少し、スタック全体のパフォーマンスを改善する数少ないメソッドが分離されることが示されています。
関連論文リスト
- Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。
Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。
100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
論文 参考訳（メタデータ） (2026-09-11T00:17:22Z) - Variable Bit-width Quantization: Learning Per-Group Precision for "Bigger-but-Smaller" Language Models [0.0]
可変ビット幅量子化(VBQ)を導入する。
64重みの連続した群が1,2,4,8ビットから独自の分解能を学習する訓練時間法である。
バイト単位の品質では、VBQはFP16よりも3.9-8.4倍効率が高い。
論文 参考訳（メタデータ） (2026-07-03T02:42:04Z) - Lens: Rethinking Training Efficiency for Foundational Text-to-Image Models [88.94987156920575]
我々は,6B以上のパラメータを持つ最先端のモデルと競合する性能を実現するT2IモデルであるLensを紹介した。
例えば、Z-Imageが使用するトレーニング計算の19.3%しか必要としない。
Lensは1つのNVIDIA H100 GPU上で10242イメージを3.15秒で生成し、蒸留したターボバージョンは0.84秒で4ステップ生成を行う。
論文 参考訳（メタデータ） (2026-05-20T17:59:58Z) - Nacrith: Neural Lossless Compression via Ensemble Context Modeling and High-Precision CDF Coding [0.0]
本研究では,自然言語テキストにおいて評価されたシステム間で最高の圧縮結果を得る圧縮システムであるNacrithについて述べる。
このシステムは500MBのGGUF重量と1ワーカーあたり1.2GBのVRAMしか必要としない。
Alice29 (Canterbury Corpus, 152 KB) では、Nacrith は 0th-, 1st-, 2nd-order Shannon entropy 境界以下で 0.918bits per byte (bpb) を達成する。
論文 参考訳（メタデータ） (2026-02-23T09:14:05Z) - Binary Quantization For LLMs Through Dynamic Grouping [13.578307208515819]
大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクで顕著なパフォーマンスを示している。
16ビットのBrain Floatから-1,1の1ビットの表現にモデル重みを圧縮するバイナリ量子化は、ストレージと推論コストを大幅に削減する。
本稿では,2値量子化に適した新しい最適化目標と,これを効果的に実現するための3つのアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-09-03T06:36:21Z) - Breaking the Batch Barrier (B3) of Contrastive Learning via Smart Batch Mining [72.7687229261317]
B3(Breaking the Batch Barrier)は、コントラスト学習(CL)のための高品質なバッチをキュレートする新しいバッチ構築戦略である。
提案手法は,7B と 2B のモデルスケールにおいて,従来のベストメソッドを+1.3 と +2.9 で上回り,新しい最先端の手法を設定できる。
特に、B3でトレーニングされたモデルは、バッチサイズが64まで小さくても、既存の最先端の結果を上回る。
論文 参考訳（メタデータ） (2025-05-16T14:25:43Z) - Low-Precision Training of Large Language Models: Methods, Challenges, and Opportunities [72.21897320340136]
大規模言語(LLM)は、様々な領域で素晴らしいパフォーマンスを実現している。
このトレーニングの課題を軽減するため、低精度のトレーニング技術が広く採用されている。
本調査は,既存の低精度トレーニング手法の総合的なレビューを提供する。
論文 参考訳（メタデータ） (2025-05-02T06:33:25Z) - EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。
より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。
効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
論文 参考訳（メタデータ） (2024-07-10T17:53:30Z) - Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。
トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
論文 参考訳（メタデータ） (2024-01-11T18:54:44Z) - BatchPrompt: Accomplish more with less [9.204837699571788]
BatchPromptはトークン制限内でデータをバッチする効率的な方法である。
効率を保ち、性能損失を克服するために、バッチの置換と組立を提案する。
これは、大規模言語モデルの高速化を技術的に改善する最初の試みである。
論文 参考訳（メタデータ） (2023-09-01T10:44:36Z) - BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent
for Few-Shot Learning [83.26610968655815]
Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。
BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
論文 参考訳（メタデータ） (2022-05-23T11:10:19Z) - BMPQ: Bit-Gradient Sensitivity Driven Mixed-Precision Quantization of
DNNs from Scratch [11.32458063021286]
本稿では、ビット勾配を用いて層感度を分析し、混合精度の量子化モデルを生成する学習手法であるBMPQを提案する。
トレーニングを1回行う必要があるが、トレーニング済みのベースラインは必要ない。
ベースラインのFP-32モデルと比較して、BMPQは15.4倍少ないパラメータビットを持つモデルの精度は無視できる。
論文 参考訳（メタデータ） (2021-12-24T03:16:58Z) - DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。
これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
論文 参考訳（メタデータ） (2020-06-05T19:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。