論文の概要: Can an AI Agent Be Epistemically Akratic? Higher-Order Evidence & the Limits of Self-Correction
- arxiv url: http://arxiv.org/abs/2611.14889v1
- Date: Wed, 11 Nov 2026 01:27:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.974515
- Title: Can an AI Agent Be Epistemically Akratic? Higher-Order Evidence & the Limits of Self-Correction
- Title(参考訳): AIエージェントはエピステマティックにアクラティックか? - 高次の証拠と自己補正の限界-
- Abstract要約: 欠陥推論に従うことは、AIエージェントが欠陥推論と音響推論を区別するのを悪化させる可能性がある。
AIエージェントは、どの結論を維持するかを決める際に、その推論に関する情報に依存し、それらの結論が正当化されるかどうかを判断する部分は、その情報を使用することができない。
否定的な評価は、さらなる精査を必要とする結論を、それらを排除する権限を持たずに特定することで、価値を保ち続けることができると私は論じます。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When we judge that our reasoning was defective, it seems plausible that we should abandon the conclusion it produced. This thought has special force for AI agents built to assess and correct their own work. Yet obeying such judgments can make an agent worse at distinguishing sound reasoning from defective reasoning. An AI agent may rely on information about its reasoning when deciding which conclusions to keep, while the part that judges whether those conclusions are justified cannot use that information. The agent can then exercise an epistemic competence by retaining conclusions it judges unjustified, even when its self-assessments are generally reliable. Nor is the difficulty resolved by training the agent to make its conclusions and assessments agree: agreement can be achieved by degrading either one. Crucially, I argue that a negative assessment can remain valuable by identifying conclusions requiring further scrutiny, without having authority to eliminate them. The result challenges a central assumption about AI self-correction: that bringing an agent's beliefs into agreement with its own self-assessment about their justification makes it better at correcting its mistakes.
- Abstract(参考訳): 我々の推論が欠陥的であると判断したとき、我々はそれが生み出した結論を捨てるべきである。
この考え方は、AIエージェントが自身の作業を評価し、修正するための特別な力を持っている。
しかし、そのような判断に従うと、エージェントは音の推論と欠陥の推論を区別しにくくなる。
AIエージェントは、どの結論を維持するかを決める際に、その推論に関する情報に依存し、それらの結論が正当化されるかどうかを判断する部分は、その情報を使用することができない。
エージェントは、一般的に自己評価が信頼できる場合でも、不当であると判断する結論を維持することで、てんかんの能力を発揮することができる。
また、エージェントが結論と評価を下すように訓練することで解決される困難さも一致しない:合意はどちらかを分解することで達成できる。
重要な点として、私は、否定的な評価は、それらを取り除く権限を持たずに、さらなる精査を必要とする結論を特定することで、価値を保ち続けることができると論じます。
その結果、AIの自己補正に関する中心的な仮定に挑戦する: エージェントの信念を自身の正当性に対する自己評価と一致させることで、ミスの修正がより良くなる。
関連論文リスト
- Proof-Carrying Contracts: Commitments AI Agents Cannot Break [55.47411235954028]
本稿では,エージェントのシステムとのインタラクションを通じて,合意された制約を強制可能なものにするためのフレームワークであるProof-Carrying Contracts (PC2)を紹介する。
要求された操作が実行される前に、エージェントは、そのモデルによって許されるすべてのケースにおいて、合意された制約を保存するためのマシンチェック可能な証明を提供する必要がある。
我々は、実行中、たとえ敵エージェントであっても、その制約が瞬時に保持されることを証明し、それが世界の安全を意味するかどうかを識別する。
論文 参考訳(メタデータ) (2026-10-20T16:30:34Z) - When No One Owns the Judgment: Accountability Under Contribution Dissolution in Human-AI Collaboration [0.0]
コミュニティはしばしば3つの質問に答える: AIは使われましたか?
これらの質問は、AIを説明責任の中心に置き、深い問題を見下ろしている。
この議論は、AI支援のピアレビューと、創造的な作業におけるAI使用の隠蔽という2つの例を通して展開する。
論文 参考訳(メタデータ) (2026-09-24T09:46:53Z) - From Protocols to Evidence: Bounded Claims for AI in Service of the Common Good [30.6027944662133]
人工知能システムが意思決定を改善するという主張は、彼らの評価が確立したものを超える可能性がある。
我々は、明示的な人間および非AIベースラインに対するデプロイメントを評価する破断テストを開発する。
評価対象の主張を制限するエビデンスバウンドのデプロイメントと,測定バウンドのガバナンスを区別する。
論文 参考訳(メタデータ) (2026-09-10T17:56:36Z) - Why2Speak: Faithful Reasoning for Abstaining Action Policies [0.19336815376402716]
我々は,直接的な意思決定方針,推論方針,教師付き微調整,強化学習を比較した。
最強の直接政策はより高い品質を達成するが、検査する理由を示さない。
監視された微調整は、推論を抑えるか、意思決定の質を向上させることなく維持する一方、強化学習は推論ポリシーを改善するのに失敗する。
論文 参考訳(メタデータ) (2026-08-21T02:00:21Z) - The Impossibility of Eliciting Latent Knowledge [13.840545605215697]
AIシステムにとって望ましい特性は、世界に対する信念を正確に報告することだ。
トレーニング中に正しいフィードバックを提供することで、開発者はエージェントに正直に質問に答えるインセンティブを与えることができる。
エージェントの振る舞いにのみ依存するフィードバックベースのトレーニング戦略はありません。
論文 参考訳(メタデータ) (2026-06-10T16:11:13Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳(メタデータ) (2026-04-26T08:03:32Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳(メタデータ) (2026-01-23T17:17:32Z) - The Inconsistency Critique: Epistemic Practices and AI Testimony About Inner States [0.0]
AIシステムに道徳的な関心があるかどうかという問題は、内部状態に関するAIの証言をどのように評価するかにかかっている。
本稿では,AI証言に対する懐疑論が最終的に正当化されるかどうかに関わらず,私が「矛盾批判」と呼ぶものを開発する。
論文 参考訳(メタデータ) (2025-12-22T18:54:07Z) - Formalizing the Problem of Side Effect Regularization [81.97441214404247]
本稿では,補助ゲームフレームワークを用いたサイドエフェクト正規化のための公式な基準を提案する。
これらのゲームでは、エージェントは部分的に観測可能なマルコフ決定プロセスを解決する。
このPOMDPは、エージェントが将来的なタスクをこなす能力と、プロキシ報酬を交換することで解決されることを示す。
論文 参考訳(メタデータ) (2022-06-23T16:36:13Z) - Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and
Goals of Human Trust in AI [55.4046755826066]
我々は、社会学の対人信頼(すなわち、人間の信頼)に着想を得た信頼のモデルについて議論する。
ユーザとAIの間の信頼は、暗黙的あるいは明示的な契約が保持する信頼である。
我々は、信頼できるAIの設計方法、信頼が浮かび上がったかどうか、保証されているかどうかを評価する方法について論じる。
論文 参考訳(メタデータ) (2020-10-15T03:07:23Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。