論文の概要: Boundary-Aware Quantization: Finite-Scale Decision Geometry of Neural Classifiers
- arxiv url: http://arxiv.org/abs/2607.01478v1
- Date: Wed, 01 Jul 2026 21:19:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.594693
- Title: Boundary-Aware Quantization: Finite-Scale Decision Geometry of Neural Classifiers
- Title(参考訳): 境界認識量子化:ニューラル分類器の有限スケール決定幾何学
- Abstract要約: 局所ロジットマージン半径, 1次境界変位, 正規変動, スライスバウンダリージャカード距離, グリッド予測変化, マルチクラスジャンクション数, 低マージン境界バンドフリップを用いて, 定量化による決定境界変化を測定した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We measured quantization-induced decision-boundary changes using local logit-margin radii, first-order boundary displacement, normal variation, slice-boundary Jaccard distance, grid prediction changes, multiclass junction counts, and low-margin boundary-band flips. On the digits benchmark, 8-bit weight quantization preserved all test labels while producing boundary-mask Jaccard \(0.428\) on the PCA slice; at 4 bits, accuracy remained \(0.9733\), while boundary Jaccard rose to \(0.970\) and median local boundary shift reached \(0.0290\). Interpolation between adjacent quantization levels localized the visible reconfigurations at multiclass junctions, with 12, 34, and 17 triple-junction cells in the selected transitions. Calibration-to-test stopping reduced the digits held-out flip rate from \(0.0094\) to \(0.0022\) and boundary Jaccard from \(0.825\) to \(0.524\); the same stopping rule also reduced flips on MNIST and Fashion-MNIST. On official CIFAR-10 subsets, PTQ-W selected by accuracy gave 6-bit flip \(0.0367\) and boundary Jaccard \(0.184\), whereas boundary-aware stopping selected 8-bit flip \(0.0083\) and boundary Jaccard \(0.048\). On full CIFAR-10 with three seeds, 6-bit PTQ-W lost \(0.0029\) accuracy relative to float, changed \(5.3\%\) of held-out decisions, and changed \(24.5\%\) of low-margin boundary-band decisions. A fixed-bit boundary-gap rounding term changed the trade-off at 4 bits by reducing boundary Jaccard from \(0.457\) to \(0.435\) and boundary-band pair-order flip from \(0.3600\) to \(0.3558\), with an accuracy trade-off; the 3-bit stress test exposed the tuning limit of this surrogate. Calibration boundary Jaccard predicted held-out boundary Jaccard across PTQ-W and optimized rounding variants with \(r=0.947\)--\(0.994\).
- Abstract(参考訳): 局所ロジットマージン半径, 1次境界変位, 正規変動, スライスバウンダリージャカード距離, グリッド予測変化, マルチクラスジャンクション数, 低マージン境界バンドフリップを用いて, 定量化による決定境界変化を測定した。
ディジットベンチマークでは、8ビットの重み量子化により、PCAスライス上で境界マスクのジャカード \(0.428\) を生成しながら全てのテストラベルを保存したが、4ビットでは精度は \(0.9733\) のままであり、境界ジャカードは \(0.970\) となり、中央値の局所境界シフトは \(0.0290\) になった。
隣接する量子化レベル間の補間は、選択された遷移において12,34,17個の三重接合細胞を持つ多クラス接合における可視再構成を局在させた。
キャリブレーション・トゥ・テストの停止は、保持されるフリップレートを \(0.0094\) から \(0.0022\) に下げ、境界ジャカードを \(0.825\) から \(0.524\) に下げ、同じ停止規則は MNIST と Fashion-MNIST のフリップを下げた。
公式のCIFAR-10サブセットでは、精度で選択されたPTQ-Wは6ビットフリップ(0.0367\)と境界ジャカード(0.184\)を与え、境界認識は8ビットフリップ(0.0083\)と境界ジャカード(0.048\)を選択した。
完全なCIFAR-10の3つの種では、6ビットPTQ-Wはフロートに対して精度が(0.0029\)低下し、ホールドアウト決定では(5.3\%\)、低マージン境界バンド決定では(24.5\%\)が変化した。
固定ビット境界ギャップのラウンドリング項は、境界ジャカードを \(0.457\) から \(0.435\) に減らし、境界バンド対のフリップを \(0.3600\) から \(0.3558\) に正確にトレードオフすることで、4ビットのトレードオフを変更した。
キャリブレーション境界 Jaccard は PTQ-W にまたがるホールドアウト境界 Jaccard と \(r=0.947\)-\(0.994\) を最適化したラウンドリング変種を予測した。
関連論文リスト
- Deterministic LLM Inference Across GPU Kernels: Power-of-Two INT8 Quantization Scales and the Limits of Tolerance-Based Conformance [0.10152838128195468]
量子化されたGEMMカーネルのコンフォーマンススイートは、2つの実装が許容範囲内で一致するかどうかを問う。
5つのエピローグ断層(スケール精度、ダブルラウンド、乗算順序、出力トランケーション、融合順序)のうちの1つが、少なくとも1つのbfloat16間隔で出力を移動していることがわかった。
5つの断層のうち4つはスイートのチェック無しで検出され、5番目は2つのスケールでのみ検出される。
論文 参考訳(メタデータ) (2026-08-25T03:05:54Z) - QuoteBench: How Matched Scores Can Hide Command-Path Failures [30.480838412827907]
実行スコアだけでは、ジェネレーションエラーとジェネレーション後に導入された失敗を区別できない。
QuoteBenchはこの境界線を、インシデントから派生した14のファミリーから56のワンショットタスクに対して正確に最終状態の検証を行う。
コマンド発行エージェントの評価は、一致したスコアを本質的なモデル特性として扱うよりも、モデル構成、生成契約、実行経路、操作点、最終状態などを報告すべきである。
論文 参考訳(メタデータ) (2026-08-13T17:57:20Z) - From Expert Reduction to Behavioral Divergence: Tracing Numerical State through Sparse MoE Inference [0.0]
専門家還元命令は、観測可能な異なるスパース-MoE実行を生成することができる。
ローカルMoE状態の凍結とアグリゲーションのセマンティクスの変化により、ネイティブのDeepSeek-V4-Flashでこの効果を分離する。
論文 参考訳(メタデータ) (2026-07-30T12:07:56Z) - Beyond Block Boundaries: Multi-Block Editing for Diffusion Large Language Models [36.661291804348146]
離散拡散言語モデル(dLLM)のスケーリングにおけるブロック拡散は支配的なアプローチである
クロスブロックコンテキストを用いて復号化トークンを更新するマルチブロック編集(MBE)を提案する。
MBEは平均12ベンチマークを61.45から64.24に引き上げ、AIME 2025では13.33ポイントまで上昇し、87.3-96.7%の標準復号スループットを維持した。
論文 参考訳(メタデータ) (2026-06-29T06:24:19Z) - Quality Is Not a Safety Proxy Under Quantization [0.0]
量子化されたチェックポイントは、まず最初に品質メトリクスでスクリーニングされる。
本稿では,51列行列のショートカットが6モデル,4ファミリー,7レベルGGUFラグ,AWQ/GPTQ INT4チェックポイントにまたがっていることを確認した。
モデル間の36種類の品質安全ペアリングはいずれも分割され、9つの隠れダンガー列と1つの隠れダンガー列は品質が安定または改善され、リフレクションは12-68ポイント低下した。
論文 参考訳(メタデータ) (2026-06-08T20:33:49Z) - The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders [0.0]
訓練後、13の現代の視覚エンコーダ内の変化の上位16の主方向は同じ16次元の幾何学的対象に収束する。
ラベルなし転送性フィルタがLogMEを圧倒し、四方向ドメイン検出器(99.6%の精度)、凍結ローショットプローブ(16ディムが768dim DINOv2を3.78ppのN=50ラベルで破る)の4つのアプリケーションを提供している。
論文 参考訳(メタデータ) (2026-06-05T22:35:13Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳(メタデータ) (2026-06-02T06:51:15Z) - Ternary Decision Trees with Locally-Adaptive Uncertainty Zones [0.0]
3次決定木は、最適しきい値を中心とする半幅デルタの不確かさゾーンを持つ各分割ノードを増大させる。
デルタは、標準のCART分割探索時に既に利用可能な統計から各ノードでローカルに計算される。
デルタ推定手法として,品質プレート,クラスオーバーラップ,ゲイン比,ノードブートストラップ,マージンの5つを評価した。
論文 参考訳(メタデータ) (2026-05-21T17:11:19Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳(メタデータ) (2026-05-20T19:08:38Z) - Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。
最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
論文 参考訳(メタデータ) (2026-05-15T03:31:51Z) - Training Non-Differentiable Networks via Optimal Transport [1.5229257192293202]
PolyStepは、フォワードパスのみを使用してパラメータを更新する、勾配のないメソッドである。
我々は、既存の勾配のない手法がほぼランダムな精度で崩壊する真に微分不可能なモデルを訓練する。
ハードLIFスパイクネットワークでは、93.4%の精度に達し、全ての勾配のないベースラインを60pp以上上回り、サロゲート勾配のアダム天井の4.4pp以内に閉じる。
論文 参考訳(メタデータ) (2026-05-03T15:20:56Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳(メタデータ) (2026-02-04T02:54:37Z) - Urban 3D Change Detection Using LiDAR Sensor for HD Map Maintenance and Smart Mobility [26.712098856567888]
都市規模LiDARのための物体中心型不確実性認識パイプラインを提案する。
これはエポックを多分解能NDTと整列し、次に点対平面ICP、高さを正規化し、位置検出レベルを導出する。
15代表のスービアコでは95.2%の精度、90.4%のmF1、82.6%のmIoUがトリプルトKPConvを超える精度、0.2のmF1、0.8のmIoUがブロックされ、IoUが74.8%に達し、7.6ポイント改善された。
論文 参考訳(メタデータ) (2025-10-24T02:59:55Z) - Finding Optimal Tangent Points for Reducing Distortions of Hard-label
Attacks [36.24260738965947]
タンジェントアタック(TA)と呼ばれる新しい幾何学的アプローチを提案する。
タンジェントアタックは、決定境界に位置する仮想半球の最適な接点を特定し、攻撃の歪みを低減する。
ImageNet と CIFAR-10 データセットで行った実験により,我々の手法では少数のクエリしか消費できず,低次歪みを実現することができた。
論文 参考訳(メタデータ) (2021-11-15T01:51:37Z) - Look Closer to Segment Better: Boundary Patch Refinement for Instance
Segmentation [51.59290734837372]
境界品質を改善するために,概念的にシンプルで効果的な後処理改善フレームワークを提案する。
提案されたBPRフレームワークは、CityscapesベンチマークのMask R-CNNベースラインを大幅に改善する。
BPRフレームワークをPolyTransform + SegFixベースラインに適用することで、Cityscapesのリーダーボードで1位に到達しました。
論文 参考訳(メタデータ) (2021-04-12T07:10:48Z) - DeepStrip: High Resolution Boundary Refinement [60.00241966809684]
関心領域をストリップ画像に変換し、ストリップ領域の境界予測を計算することを提案する。
対象境界を検出するために,2つの予測層を持つフレームワークを提案する。
我々は、誤報を減らすために、整合性とC0連続性正規化をネットワークに強制する。
論文 参考訳(メタデータ) (2020-03-25T22:44:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。