論文の概要: Exact Count of Boundary Pieces of ReLU Classifiers: Towards the Proper
Complexity Measure for Classification
- arxiv url: http://arxiv.org/abs/2306.08805v1
- Date: Thu, 15 Jun 2023 01:21:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 16:52:02.837079
- Title: Exact Count of Boundary Pieces of ReLU Classifiers: Towards the Proper
Complexity Measure for Classification
- Title（参考訳）: relu分類器の境界要素の正確な数:分類の適切な複雑性尺度に向けて
- Authors: Pawe{\l} Piwek, Adam Klukowski, Tianyang Hu
- Abstract要約: 我々は決定境界の複雑さを直接測定することを提唱する。
まずReLUニューラルネットワークを解析し、その境界の複雑さをアフィンの個数によって便利に特徴付ける。
本研究では, 境界部分の正確な数と, 副生成物として, 総アフィン部分の正確な数とを明示的にカウントできる新しい手法を開発した。
- 参考スコア（独自算出の注目度）: 0.483420384410068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classic learning theory suggests that proper regularization is the key to
good generalization and robustness. In classification, current training schemes
only target the complexity of the classifier itself, which can be misleading
and ineffective. Instead, we advocate directly measuring the complexity of the
decision boundary. Existing literature is limited in this area with few
well-established definitions of boundary complexity. As a proof of concept, we
start by analyzing ReLU neural networks, whose boundary complexity can be
conveniently characterized by the number of affine pieces. With the help of
tropical geometry, we develop a novel method that can explicitly count the
exact number of boundary pieces, and as a by-product, the exact number of total
affine pieces. Numerical experiments are conducted and distinctive properties
of our boundary complexity are uncovered. First, the boundary piece count
appears largely independent of other measures, e.g., total piece count, and
$l_2$ norm of weights, during the training process. Second, the boundary piece
count is negatively correlated with robustness, where popular robust training
techniques, e.g., adversarial training or random noise injection, are found to
reduce the number of boundary pieces.
- Abstract（参考訳）: 古典的学習理論は、適切な正規化が良い一般化と堅牢性の鍵であることを示唆している。
分類において、現在のトレーニングスキームは分類器自体の複雑さだけを対象としており、誤解を招く可能性があり、非効率である。
代わりに、私たちは決定境界の複雑さを直接測定することを提唱します。
既存の文献はこの領域では限定的であり、境界複雑性の定義は確立されていない。
概念実証として,アフィンの個数によって境界の複雑さを便利に特徴付けることができるReLUニューラルネットワークの解析から始める。
熱帯の幾何学の助けを借りて, 境界要素の正確な数, および副生成物として, 総アフィン成分の正確な数を求める新しい手法を開発した。
数値実験を行い, 境界複雑性の特異な特性を明らかにする。
第一に、境界片数はトレーニング過程において、例えば、総片数、および重量のノルム$l_2$といった他の測度と大きく独立しているように見える。
第二に、境界片数とロバスト性は負の相関関係にあり、例えば、対向訓練やランダムノイズ注入といった一般的なロバストトレーニング技術は、境界片数を減少させる。
関連論文リスト
- An Optimal Algorithm for the Real-Valued Combinatorial Pure Exploration
of Multi-Armed Bandit [65.268245109828]
多武装バンディット(R-CPE-MAB)の真価純探査問題について検討する。
既存のR-CPE-MABの手法は、いわゆるトランスダクティブ線形帯域の特殊な場合と見なすことができる。
本稿では,差分探索アルゴリズム (CombGapE) を提案する。
論文 参考訳（メタデータ） (2023-06-15T15:37:31Z) - Optimal PAC Bounds Without Uniform Convergence [11.125968799758436]
我々は、一様収束論の極限を超えるフレームワークを通して、最適な高確率リスク境界を提供する。
我々のフレームワークは、置換不変予測器の残余誤差を高い確率リスク境界に変換する。
具体的には, 1-inclusion graph アルゴリズムの特定のアグリゲーションが最適であることを示す。
論文 参考訳（メタデータ） (2023-04-18T17:57:31Z) - Precise Regret Bounds for Log-loss via a Truncated Bayesian Algorithm [14.834625066344582]
対数損失下での逐次的オンライン回帰(シーケンシャル確率代入)について検討する。
我々は、専門家のクラスで発生する過剰な損失として定義される連続したミニマックスの後悔に対して、厳密で、しばしば一致し、下限と上限を得ることに重点を置いている。
論文 参考訳（メタデータ） (2022-05-07T22:03:00Z) - Bounds on quantum evolution complexity via lattice cryptography [0.0]
量子論における可積分運動とカオス運動の差は、対応する進化作用素の複雑さによって表される。
ここでの複雑性は、時間依存進化作用素とユニタリ群内の原点の間の最短測地線距離として理解されている。
論文 参考訳（メタデータ） (2022-02-28T16:20:10Z) - Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。
特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。
以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
論文 参考訳（メタデータ） (2022-02-08T16:39:57Z) - Improved Algorithms for Agnostic Pool-based Active Classification [20.12178157010804]
プールに依存しない環境でのバイナリ分類のためのアクティブラーニングを検討する。
我々のアルゴリズムは、画像分類データセットにおけるアートアクティブな学習アルゴリズムの状況よりも優れている。
論文 参考訳（メタデータ） (2021-05-13T18:24:30Z) - Root-finding Approaches for Computing Conformal Prediction Set [18.405645120971496]
共形予測は、以前の同一分布および交換可能な観測に基づいて、特徴ベクトルの未観測応答に対する信頼領域を構築する。
我々は,共形予測集合が古典的ルートフィンディングソフトウェアによって効率的に近似できる区間であるという事実を活用する。
論文 参考訳（メタデータ） (2021-04-14T06:41:12Z) - An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
データから制約をマイニングするための一般的なフレームワークを提案する。
特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。
提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
論文 参考訳（メタデータ） (2020-06-18T20:09:53Z) - A General Method for Robust Learning from Batches [56.59844655107251]
本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。
本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2020-02-25T18:53:25Z) - Best Arm Identification for Cascading Bandits in the Fixed Confidence
Setting [81.70513857417106]
CascadeBAIを設計し、分析する。これは、$K$アイテムのベストセットを見つけるアルゴリズムである。
CascadeBAIの時間的複雑さの上限は、決定的な分析課題を克服することによって導かれる。
その結果,カスケードBAIの性能は,時間的複雑性の低い境界の導出により,いくつかの実践的状況において最適であることが示唆された。
論文 参考訳（メタデータ） (2020-01-23T16:47:52Z) - The Simulator: Understanding Adaptive Sampling in the
Moderate-Confidence Regime [52.38455827779212]
エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。
適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。
我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
論文 参考訳（メタデータ） (2017-02-16T23:42:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。