論文の概要: A Model of Artificial Jagged Intelligence
- arxiv url: http://arxiv.org/abs/2601.07573v1
- Date: Mon, 12 Jan 2026 14:27:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:01.432891
- Title: A Model of Artificial Jagged Intelligence
- Title(参考訳): 人工ジャグインテリジェンスモデル
- Authors: Joshua Gans,
- Abstract要約: 生成AIシステムは、近くに現れるタスク間で非常に不均一なパフォーマンスを示すことが多い」。
我々はこの現象を人工ジャグインテリジェンス(AJI)と呼ぶ。
本稿では,情報問題として採用を取り扱うAJIの魅力ある経済モデルを開発する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative AI systems often display highly uneven performance across tasks that appear ``nearby'': they can be excellent on one prompt and confidently wrong on another with only small changes in wording or context. We call this phenomenon Artificial Jagged Intelligence (AJI). This paper develops a tractable economic model of AJI that treats adoption as an information problem: users care about \emph{local} reliability, but typically observe only coarse, global quality signals. In a baseline one-dimensional landscape, truth is a rough Brownian process, and the model ``knows'' scattered points drawn from a Poisson process. The model interpolates optimally, and the local error is measured by posterior variance. We derive an adoption threshold for a blind user, show that experienced errors are amplified by the inspection paradox, and interpret scaling laws as denser coverage that improves average quality without eliminating jaggedness. We then study mastery and calibration: a calibrated user who can condition on local uncertainty enjoys positive expected value even in domains that fail the blind adoption test. Modelling mastery as learning a reliability map via Gaussian process regression yields a learning-rate bound driven by information gain, clarifying when discovering ``where the model works'' is slow. Finally, we study how scaling interacts with discoverability: when calibrated signals and user mastery accelerate the harvesting of scale improvements, and when opacity can make gains from scaling effectively invisible.
- Abstract(参考訳): 生成AIシステムは、しばしば‘nearby’のようなタスク間で非常に不均一なパフォーマンスを示す。
我々はこの現象を人工ジャグインテリジェンス(AJI)と呼ぶ。
本稿では,AJIの難易度の高い経済モデルを開発し,導入を情報問題として扱う。ユーザは「emph{local}」の信頼性を気にするが,通常は粗いグローバルな品質信号のみを観察する。
ベースラインの1次元のランドスケープでは、真理は荒いブラウン過程であり、ポアソン過程から引き出されたモデル ``knows'' の散在点である。
モデルは最適に補間され、局所誤差は後部分散によって測定される。
我々は,視覚障害者に対する採用基準を導出し,検査パラドックスによって経験的エラーが増幅されることを示し,スケーリング法則を,ジャグネスを排除せずに平均品質を改善するためのより密集したカバレッジとして解釈する。
局所不確実性を条件にできる校正されたユーザは、盲検試験に失敗したドメインであっても、肯定的な期待値を享受する。
ガウス過程レグレッションによる信頼性マップの学習としてのマスタリーをモデル化すると、情報ゲインによって駆動される学習速度が得られ、‘モデルが動作する場所’を発見するのが遅いことが明確になる。
最後に,スケーリングが発見可能性とどのように相互作用するかについて検討する。キャリブレーションされた信号とユーザマスタリがスケール改善の獲得を加速する時と,不透明性によって効果的に見えなくなる時である。
関連論文リスト
- Sample Margin-Aware Recalibration of Temperature Scaling [20.87493013833571]
近年のディープラーニングの進歩は予測精度を大幅に改善した。
現代のニューラルネットワークは体系的に過信され、安全クリティカルなシナリオに展開するリスクを生じさせる。
本稿では,上位2つのロジット間のマージンに基づいて,ロジットを正確にスケールする軽量でデータ効率の高いリカバリ手法を提案する。
論文 参考訳(メタデータ) (2025-06-30T03:35:05Z) - Bayesian generative models can flag performance loss, bias, and out-of-distribution image content [15.835055687646507]
生成モデルは、異常検出、特徴抽出、データの可視化、画像生成などの医療画像タスクに人気がある。
ディープラーニングモデルによってパラメータ化されているため、分散シフトに敏感であり、アウト・オブ・ディストリビューションデータに適用しても信頼できないことが多い。
我々は,インク,定規,パッチなどの分布外画像コンテンツを検出する画素ワイド不確実性を示す。
論文 参考訳(メタデータ) (2025-03-21T18:45:28Z) - Calibrating Deep Neural Network using Euclidean Distance [5.3612053942581275]
機械学習では、Focal Lossは、サンプルの分類が難しいことを強調することで、誤分類率を減らすために一般的に使用される。
高校正誤差は予測確率と実際の結果との相違を示し、モデルの信頼性に影響を及ぼす。
本研究では,FCL (Focal Loss) と呼ばれる新しい損失関数を導入する。
論文 参考訳(メタデータ) (2024-10-23T23:06:50Z) - Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。
ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
論文 参考訳(メタデータ) (2023-06-07T16:40:51Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳(メタデータ) (2023-01-16T14:25:02Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳(メタデータ) (2022-01-28T22:03:50Z) - Monitoring Model Deterioration with Explainable Uncertainty Estimation
via Non-parametric Bootstrap [0.0]
一度デプロイされた機械学習モデルを監視することは難しい。
ラベル付きデータが到達範囲を超えている場合、実際のシナリオでモデルをいつ再トレーニングするかを判断するのはさらに難しい。
本研究では,非パラメトリックブートストラップ型不確実性推定とSHAP値を用いて説明可能な不確実性推定を行う。
論文 参考訳(メタデータ) (2022-01-27T17:23:04Z) - Efficient remedies for outlier detection with variational autoencoders [8.80692072928023]
深層生成モデルによって計算される類似度は、ラベルなしデータによる外れ値検出の候補メトリックである。
理論的に定位された補正は、VAE推定値による鍵バイアスを容易に改善することを示す。
また,VAEのアンサンブル上で計算される確率の分散により,ロバストな外乱検出が可能となることを示す。
論文 参考訳(メタデータ) (2021-08-19T16:00:58Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳(メタデータ) (2021-02-22T07:02:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。