論文の概要: The logic of NTQR evaluations of noisy AI agents: Complete postulates
and logically consistent error correlations
- arxiv url: http://arxiv.org/abs/2312.05392v1
- Date: Fri, 8 Dec 2023 22:06:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 21:10:42.439346
- Title: The logic of NTQR evaluations of noisy AI agents: Complete postulates
and logically consistent error correlations
- Title(参考訳): ノイズの多いAIエージェントのNTQR評価の論理:完全仮定と論理的に一貫した誤差相関
- Authors: Andr\'es Corrada-Emmanuel
- Abstract要約: 教師なし設定におけるノイズの多いAIエージェントの監視におけるAI安全性の問題について考察する。
本論文では,ML文献ですでにいくつかの仮定が特定されているが,そのようには認識されていないことを示す。
評価の代数的仮定による論理一貫性の定式化が,AIアルゴリズムを用いた機械の安全性向上に有効であることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In his "ship of state" allegory (\textit{Republic}, Book VI, 488) Plato poses
a question -- how can a crew of sailors presumed to know little about the art
of navigation recognize the true pilot among them? The allegory argues that a
simple majority voting procedure cannot safely determine who is most qualified
to pilot a ship when the voting members are ignorant or biased. We formalize
Plato's concerns by considering the problem in AI safety of monitoring noisy AI
agents in unsupervised settings. An algorithm evaluating AI agents using
unlabeled data would be subject to the evaluation dilemma - how would we know
the evaluation algorithm was correct itself? This endless validation chain can
be avoided by considering purely algebraic functions of the observed responses.
We can construct complete postulates than can prove or disprove the logical
consistency of any grading algorithm. A complete set of postulates exists
whenever we are evaluating $N$ experts that took $T$ tests with $Q$ questions
with $R$ responses each. We discuss evaluating binary classifiers that have
taken a single test - the $(N,T=1,Q,R=2)$ tests. We show how some of the
postulates have been previously identified in the ML literature but not
recognized as such - the \textbf{agreement equations} of Platanios. The
complete postulates for pair correlated binary classifiers are considered and
we show how it allows for error correlations to be quickly calculated. An
algebraic evaluator based on the assumption that the ensemble is error
independent is compared with grading by majority voting on evaluations using
the \uciadult and and \texttt{two-norm} datasets. Throughout, we demonstrate
how the formalism of logical consistency via algebraic postulates of evaluation
can help increase the safety of machines using AI algorithms.
- Abstract(参考訳): プラートが「国家の船」("ship of state" allegory (\textit{republic}, book vi, 488)の中で疑問を呈している。
アレゴリーでは、単純多数決の手続きでは、投票員が無知あるいは偏っている場合、誰が船を操縦できるかを安全に判断できないと主張している。
我々は、教師なし設定でノイズの多いAIエージェントを監視するAI安全性の問題を考慮して、プラトンの懸念を形式化する。
ラベル付きデータを使用してAIエージェントを評価するアルゴリズムは、評価ジレンマの対象となる。
この無限の検証連鎖は、観測された応答の純粋に代数的関数を考えることで避けることができる。
任意の階調アルゴリズムの論理的一貫性を証明または否定できる以上の完全な仮定を構成できる。
完全な投稿は、それぞれ$r$の回答で$q$の質問で$t$のテストを受けた専門家を評価した場合に存在します。
単一テストを行ったバイナリ分類器の評価 - $(n,t=1,q,r=2)$ テストについて検討する。
ML文献において、仮定のいくつかが以前は認識されていたが、プラタニオスの「textbf{agreement equations}」と認識されていないことを示す。
ペア相関二分分類器の完全な仮定を考察し,誤差相関を高速に計算できることを示す。
アンサンブルが誤差独立であるという仮定に基づく代数的評価器を,\uciadult と \texttt{two-norm} データセットを用いた評価において,多数決による評価と比較した。
本稿では,AIアルゴリズムを用いた機械の安全性向上に寄与し,論理的整合性の代数的仮定による定式化を実証する。
関連論文リスト
- Understanding and Mitigating Classification Errors Through Interpretable
Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。
正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。
提案手法であるPremiseが実際によく動作することを示す。
論文 参考訳(メタデータ) (2023-11-18T00:24:26Z) - Learnability with PAC Semantics for Multi-agent Beliefs [38.88111785113001]
推論と帰納の緊張は、おそらく哲学、認知、人工知能といった分野において最も根本的な問題である。
Valiant氏は、学習の課題は推論と統合されるべきである、と認識した。
古典的な包含よりも弱いが、クエリに応答する強力なモデル理論のフレームワークを可能にする。
論文 参考訳(メタデータ) (2023-06-08T18:22:46Z) - Streaming algorithms for evaluating noisy judges on unlabeled data --
binary classification [0.0]
我々は、代数的故障モードを用いて、ほぼ誤りのないトリオスを探索し、評価アンサンブルを過度に相関するものとして否定する。
生き残ったアンサンブルが生み出す結果は、時には1%にも達することがある。
独立性が仮定されるときに生じる推定値のテイラー展開は、実際、分類器はわずかに相関しているので、独立評価器が代数的盲点を持つかを明らかにするのに役立つ」。
論文 参考訳(メタデータ) (2023-06-02T17:52:59Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳(メタデータ) (2023-05-01T02:37:59Z) - Disagreement amongst counterfactual explanations: How transparency can
be deceptive [0.0]
偽物の説明は、説明可能な人工知能技術としてますます使われている。
すべてのアルゴリズムが同じインスタンスに対して一様説明を生成するわけではない。
悪意のあるエージェントがこの多様性を使って不公平な機械学習モデルに見合うと、倫理的な問題が生じる。
論文 参考訳(メタデータ) (2023-04-25T09:15:37Z) - Neural Causal Models for Counterfactual Identification and Estimation [62.30444687707919]
本稿では,ニューラルモデルによる反事実文の評価について検討する。
まず、神経因果モデル(NCM)が十分に表現可能であることを示す。
第2に,反事実分布の同時同定と推定を行うアルゴリズムを開発する。
論文 参考訳(メタデータ) (2022-09-30T18:29:09Z) - Nested Counterfactual Identification from Arbitrary Surrogate
Experiments [95.48089725859298]
観測と実験の任意の組み合わせからネスト反事実の同定について検討した。
具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
論文 参考訳(メタデータ) (2021-07-07T12:51:04Z) - Independence Tests Without Ground Truth for Noisy Learners [0.0]
独立二項分類器の正確な解について論じる。
その実用性はその唯一の前提によって妨げられている。
スカラー回帰器の基底真理不変系の同様の予想は解ける。
論文 参考訳(メタデータ) (2020-10-28T13:03:26Z) - Mitigating Manipulation in Peer Review via Randomized Reviewer
Assignments [96.114824979298]
コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。
我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。
我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
論文 参考訳(メタデータ) (2020-06-29T23:55:53Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳(メタデータ) (2020-05-22T15:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。