論文の概要: Generalization Analysis on Learning with a Concurrent Verifier

• arxiv url: http://arxiv.org/abs/2210.05331v1
• Date: Tue, 11 Oct 2022 10:51:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 16:57:39.527349
• Title: Generalization Analysis on Learning with a Concurrent Verifier
• Title（参考訳）: 並列検証器による学習の一般化解析
• Authors: Masaaki Nishino, Kengo Nakamura, Norihito Yasuda
• Abstract要約: 機械学習モデルの学習性はCVでどのように変化するかを分析する。 Rademacherの複雑性に基づく典型的なエラー境界は、元のモデルよりも大きくはならない。
• 参考スコア（独自算出の注目度）: 16.298786827265673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning technologies have been used in a wide range of practical systems. In practical situations, it is natural to expect the input-output pairs of a machine learning model to satisfy some requirements. However, it is difficult to obtain a model that satisfies requirements by just learning from examples. A simple solution is to add a module that checks whether the input-output pairs meet the requirements and then modifies the model's outputs. Such a module, which we call a {\em concurrent verifier} (CV), can give a certification, although how the generalizability of the machine learning model changes using a CV is unclear. This paper gives a generalization analysis of learning with a CV. We analyze how the learnability of a machine learning model changes with a CV and show a condition where we can obtain a guaranteed hypothesis using a verifier only in the inference time. We also show that typical error bounds based on Rademacher complexity will be no larger than that of the original model when using a CV in multi-class classification and structured prediction settings.
• Abstract（参考訳）: 機械学習技術は、幅広い実用的なシステムで使われてきた。 実際の状況では、機械学習モデルの入出力ペアがいくつかの要件を満たすことを期待するのは自然なことです。 しかし,実例から学ぶだけで要求を満たすモデルを得ることは困難である。 単純な解決策は、入出力ペアが要求を満たすかどうかをチェックし、モデルの出力を変更するモジュールを追加することである。 このようなモジュールを {\em concurrent verifier} (CV)と呼び、認証を与えることができるが、機械学習モデルの一般化性はCVを用いてどのように変化するかは不明確である。 本稿では,CVを用いた学習の一般化分析を行う。 機械学習モデルの学習性はCVでどのように変化するのかを解析し、推論時間のみに検証器を用いて保証された仮説が得られる条件を示す。 また,マルチクラス分類と構造化予測設定においてCVを用いた場合,Rademacherの複雑性に基づく典型的な誤差境界は,元のモデルよりも大きくはならないことを示す。

関連論文リスト

• Increasing Trust in Language Models through the Reuse of Verified Circuits [1.8434042562191815]
  言語モデル(LM)は、幅広い予測タスクにますます使われていますが、それらのトレーニングは稀なエッジケースを無視します。 数学的および論理的に定義されたフレームワークを使用して構築すれば、この標準を満たすようにモデルをトレーニングできることが示される。 両タスクの加算回路を広範囲に再利用し,より複雑な減算器モデルの検証を容易にする。
  論文  参考訳（メタデータ） (2024-02-04T21:33:18Z)
• Is K-fold cross validation the best model selection method for Machine Learning? [0.0]
  K-foldクロスバリデーション(K-fold cross-validation)は、機械学習の結果が偶然に生成される可能性を確認する最も一般的なアプローチである。 K-fold CVと実際の誤差(K-fold CUBV)のアッパーバウンドに基づく新規な試験が構成される。
  論文  参考訳（メタデータ） (2024-01-29T18:46:53Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• QuantifyML: How Good is my Machine Learning Model? [0.0]
  QuantifyMLは、機械学習モデルが与えられたデータから学習し、一般化した範囲を定量化することを目的としている。 この式は市販モデルカウンタを用いて解析し、異なるモデル挙動に関する正確な数を求める。
  論文  参考訳（メタデータ） (2021-10-25T01:56:01Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• A Note on High-Probability versus In-Expectation Guarantees of Generalization Bounds in Machine Learning [95.48744259567837]
  統計的機械学習理論は、しばしば機械学習モデルの一般化を保証するよう試みる。 機械学習モデルのパフォーマンスに関する声明は、サンプリングプロセスを考慮する必要がある。 1つのステートメントを別のステートメントに変換する方法を示します。
  論文  参考訳（メタデータ） (2020-10-06T09:41:35Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)
• Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
  確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。 我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。 実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T20:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。