論文の概要: Models That Prove Their Own Correctness
- arxiv url: http://arxiv.org/abs/2405.15722v1
- Date: Fri, 24 May 2024 17:10:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 13:11:11.228010
- Title: Models That Prove Their Own Correctness
- Title（参考訳）: 自己正当性を示すモデル
- Authors: Noga Amit, Shafi Goldwasser, Orr Paradise, Guy Rothblum,
- Abstract要約: 我々は,その出力の正しさを証明する自己証明モデルを,対話的証明を通じて検証アルゴリズムとして$V$で訓練する。
ランダムな入力に対して高い確率で、モデルは正しい出力を出力し、その正しさを$V!$に証明する。
自己証明モデルは出力の大部分の正しさを証明し、*all*不正確な出力(任意のモデルの)は$V$で検出される。
- 参考スコア（独自算出の注目度）: 2.6570606951261015
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: How can we trust the correctness of a learned model on a particular input of interest? Model accuracy is typically measured \emph{on average} over a distribution of inputs, giving no guarantee for any fixed input. This paper proposes a theoretically-founded solution to this problem: to train *Self-Proving models* that prove the correctness of their output to a verification algorithm $V$ via an Interactive Proof. Self-Proving models satisfy that, with high probability over a random input, the model generates a correct output \emph{and} successfully proves its correctness to $V\!$. The *soundness* property of $V$ guarantees that, for *every* input, no model can convince $V$ of the correctness of an incorrect output. Thus, a Self-Proving model proves correctness of most of its outputs, while *all* incorrect outputs (of any model) are detected by $V$. We devise a generic method for learning Self-Proving models, and we prove convergence bounds under certain assumptions. The theoretical framework and results are complemented by experiments on an arithmetic capability: computing the greatest common divisor (GCD) of two integers. Our learning method is used to train a Self-Proving transformer that computes the GCD *and* proves the correctness of its answer.
- Abstract（参考訳）: 学習したモデルの正しさを、特定の関心の入力にどのように信頼することができるか?
モデル精度は典型的には入力の分布上で「emph{on average}」と測られ、固定入力の保証は与えられない。
本稿では,この問題に対する理論的に確立された解決策を提案し,その正当性を証明する*自己証明モデル*を,対話的証明による検証アルゴリズム$V$に訓練する。
自己証明モデルは、ランダムな入力よりも高い確率で正しい出力 \emph{and} を生成し、その正しさを$V\!
$.
V$の*soundness*プロパティは、*すべての*入力に対して、間違った出力の正しさを$V$を納得させるモデルは存在しないことを保証します。
したがって、自己証明モデルは出力の大部分の正しさを証明し、*all*不正確な出力は(任意のモデルの)$V$で検出される。
我々は、自己形成モデルを学ぶための一般的な手法を考案し、ある仮定の下で収束境界を証明した。
理論的な枠組みと結果は、2つの整数の最大共通因子(GCD)を計算する算術能力の実験によって補完される。
学習方法は,GCDを演算する自己証明変換器を訓練するために用いられ,その解答の正しさが証明される。
関連論文リスト
- Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Score-based generative models are provably robust: an uncertainty quantification perspective [4.396860522241307]
本研究では,スコアベース生成モデル (SGM) が実運用において複数の誤差源に対して確実に堅牢であることを示す。
我々の主要なツールは、ワッサーシュタイン不確実性伝播(WUP)定理である。
a) 有限サンプル近似による誤差, (b) 早期停止, (c) スコアマッチング対象選択, (d) スコア関数パラメトリゼーション, (e) 基準分布選択が生成モデルの品質に与える影響を示す。
論文 参考訳（メタデータ） (2024-05-24T17:50:17Z) - Gaussian Process Probes (GPP) for Uncertainty-Aware Probing [61.91898698128994]
モデルによって表現される概念に関する不確実性を探索し、測定するための統一的でシンプルなフレームワークを導入する。
実験の結果,(1)ごく少数の例でも,モデルの概念表現を探索し,(2)認識の不確実性(プローブがどの程度確実か)と解離不確実性(モデルがファジィか)を正確に測定し,(3)これらの不確実性尺度と古典的手法を用いて分布データの検出を行うことができた。
論文 参考訳（メタデータ） (2023-05-29T17:00:16Z) - Enhancing Self-Consistency and Performance of Pre-Trained Language
Models through Natural Language Inference [72.61732440246954]
大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。
本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。
ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
論文 参考訳（メタデータ） (2022-11-21T21:58:30Z) - Testing distributional assumptions of learning algorithms [5.204779946147061]
テストレーナー対 $(mathcalA,mathcalT)$ の設計について検討する。
データ中の例の分布がテスタを$mathcalT$に渡せば、データ上の非依存な$mathcalA$の出力を安全に信頼できることを示す。
論文 参考訳（メタデータ） (2022-04-14T19:10:53Z) - Test Set Sizing Via Random Matrix Theory [91.3755431537592]
本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。
それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。
本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
論文 参考訳（メタデータ） (2021-12-11T13:18:33Z) - "Adversarial Examples" for Proof-of-Learning [32.438181794551035]
Jiaらは、PoLという新しい概念/メカニズムを提案した。
PoLは、トレーニング手順の完全性を証明することによって、機械学習モデルのオーナシップを証明可能にする。
PoL は "adrialversa example" に対して脆弱であることを示す。
論文 参考訳（メタデータ） (2021-08-21T07:56:29Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - Estimating Stochastic Linear Combination of Non-linear Regressions
Efficiently and Scalably [23.372021234032363]
サブサンプルサイズが大きくなると、推定誤差が過度に犠牲になることを示す。
私たちの知る限りでは、線形テキスト+確率モデルが保証される最初の研究です。
論文 参考訳（メタデータ） (2020-10-19T07:15:38Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z) - Query Training: Learning a Worse Model to Infer Better Marginals in
Undirected Graphical Models with Hidden Variables [11.985433487639403]
確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。
我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。
実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
論文 参考訳（メタデータ） (2020-06-11T20:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。