論文の概要: The logic of NTQR evaluations of noisy AI agents: Complete postulates and logically consistent error correlations

• arxiv url: http://arxiv.org/abs/2312.05392v1
• Date: Fri, 8 Dec 2023 22:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 21:10:42.439346
• Title: The logic of NTQR evaluations of noisy AI agents: Complete postulates and logically consistent error correlations
• Title（参考訳）: ノイズの多いAIエージェントのNTQR評価の論理:完全仮定と論理的に一貫した誤差相関
• Authors: Andr\'es Corrada-Emmanuel
• Abstract要約: 教師なし設定におけるノイズの多いAIエージェントの監視におけるAI安全性の問題について考察する。 本論文では,ML文献ですでにいくつかの仮定が特定されているが,そのようには認識されていないことを示す。 評価の代数的仮定による論理一貫性の定式化が,AIアルゴリズムを用いた機械の安全性向上に有効であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In his "ship of state" allegory (\textit{Republic}, Book VI, 488) Plato poses a question -- how can a crew of sailors presumed to know little about the art of navigation recognize the true pilot among them? The allegory argues that a simple majority voting procedure cannot safely determine who is most qualified to pilot a ship when the voting members are ignorant or biased. We formalize Plato's concerns by considering the problem in AI safety of monitoring noisy AI agents in unsupervised settings. An algorithm evaluating AI agents using unlabeled data would be subject to the evaluation dilemma - how would we know the evaluation algorithm was correct itself? This endless validation chain can be avoided by considering purely algebraic functions of the observed responses. We can construct complete postulates than can prove or disprove the logical consistency of any grading algorithm. A complete set of postulates exists whenever we are evaluating $N$ experts that took $T$ tests with $Q$ questions with $R$ responses each. We discuss evaluating binary classifiers that have taken a single test - the $(N,T=1,Q,R=2)$ tests. We show how some of the postulates have been previously identified in the ML literature but not recognized as such - the \textbf{agreement equations} of Platanios. The complete postulates for pair correlated binary classifiers are considered and we show how it allows for error correlations to be quickly calculated. An algebraic evaluator based on the assumption that the ensemble is error independent is compared with grading by majority voting on evaluations using the \uciadult and and \texttt{two-norm} datasets. Throughout, we demonstrate how the formalism of logical consistency via algebraic postulates of evaluation can help increase the safety of machines using AI algorithms.
• Abstract（参考訳）: プラートが「国家の船」("ship of state" allegory (\textit{republic}, book vi, 488)の中で疑問を呈している。 アレゴリーでは、単純多数決の手続きでは、投票員が無知あるいは偏っている場合、誰が船を操縦できるかを安全に判断できないと主張している。 我々は、教師なし設定でノイズの多いAIエージェントを監視するAI安全性の問題を考慮して、プラトンの懸念を形式化する。 ラベル付きデータを使用してAIエージェントを評価するアルゴリズムは、評価ジレンマの対象となる。 この無限の検証連鎖は、観測された応答の純粋に代数的関数を考えることで避けることができる。 任意の階調アルゴリズムの論理的一貫性を証明または否定できる以上の完全な仮定を構成できる。 完全な投稿は、それぞれ$r$の回答で$q$の質問で$t$のテストを受けた専門家を評価した場合に存在します。 単一テストを行ったバイナリ分類器の評価 - $(n,t=1,q,r=2)$ テストについて検討する。 ML文献において、仮定のいくつかが以前は認識されていたが、プラタニオスの「textbf{agreement equations}」と認識されていないことを示す。 ペア相関二分分類器の完全な仮定を考察し,誤差相関を高速に計算できることを示す。 アンサンブルが誤差独立であるという仮定に基づく代数的評価器を,\uciadult と \texttt{two-norm} データセットを用いた評価において,多数決による評価と比較した。 本稿では,AIアルゴリズムを用いた機械の安全性向上に寄与し,論理的整合性の代数的仮定による定式化を実証する。

関連論文リスト

• MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs [80.96119560172224]
  大規模言語モデル(LLM)は、高い精度で算術語問題を解くことができるが、訓練された言語よりも複雑な問題にどのように一般化するかは、ほとんど分かっていない。 本研究では、任意に複雑な算術証明問題に対する LLM の評価フレームワーク、MathGAP を提案する。
  論文  参考訳（メタデータ） (2024-10-17T12:48:14Z)
• A logical alarm for misaligned binary classifiers [0.0]
  直感は二分分類タスクを実行したエージェントを評価するために形式化されています。 これは、二項応答子のすべての評価によって普遍的に従わなければならない公理の集合を確立することによってなされる。 このアプローチと形式的ソフトウェア検証の類似点と,近年の安全保証AIの課題に対する実用性について論じる。
  論文  参考訳（メタデータ） (2024-09-17T10:19:22Z)
• MalAlgoQA: Pedagogical Evaluation of Counterfactual Reasoning in Large Language Models and Implications for AI in Education [2.872215065231376]
  本稿では,MalAlgoQAを提案する。MalAlgoQAは,大規模言語モデルの対実的推論能力を評価するために設計されたデータセットである。 MalAlgoQAの核心は、誤った答えの選択の裏にある、不完全で論理的に一貫性のある推論経路の理論的根拠である。
  論文  参考訳（メタデータ） (2024-07-01T03:39:13Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Bisimulation Learning [55.859538562698496]
  我々は、大きな、潜在的に無限の状態空間を持つ状態遷移系の有限バイシミュレートを計算する。 提案手法は,実際に行われている他の最先端ツールよりも高速な検証結果が得られる。
  論文  参考訳（メタデータ） (2024-05-24T17:11:27Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Streaming algorithms for evaluating noisy judges on unlabeled data -- binary classification [0.0]
  我々は、代数的故障モードを用いて、ほぼ誤りのないトリオスを探索し、評価アンサンブルを過度に相関するものとして否定する。 生き残ったアンサンブルが生み出す結果は、時には1%にも達することがある。 独立性が仮定されるときに生じる推定値のテイラー展開は、実際、分類器はわずかに相関しているので、独立評価器が代数的盲点を持つかを明らかにするのに役立つ」。
  論文  参考訳（メタデータ） (2023-06-02T17:52:59Z)
• Nested Counterfactual Identification from Arbitrary Surrogate Experiments [95.48089725859298]
  観測と実験の任意の組み合わせからネスト反事実の同定について検討した。 具体的には、任意のネストされた反事実を非ネストされたものへ写像できる反ファクト的非ネスト定理(英語版)(CUT)を証明する。
  論文  参考訳（メタデータ） (2021-07-07T12:51:04Z)
• Independence Tests Without Ground Truth for Noisy Learners [0.0]
  独立二項分類器の正確な解について論じる。 その実用性はその唯一の前提によって妨げられている。 スカラー回帰器の基底真理不変系の同様の予想は解ける。
  論文  参考訳（メタデータ） (2020-10-28T13:03:26Z)
• L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
  学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。 新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。 ARTデータセットの実験は、公開リーダボードの最先端に到達します。
  論文  参考訳（メタデータ） (2020-05-22T15:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。