論文の概要: Evaluating Artificial Wisdom (AW): A Trajectory-Based Framework for Context-Sensitive Decision Regulation
- arxiv url: http://arxiv.org/abs/2610.31012v1
- Date: Thu, 22 Oct 2026 09:47:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.311099
- Title: Evaluating Artificial Wisdom (AW): A Trajectory-Based Framework for Context-Sensitive Decision Regulation
- Title（参考訳）: AWの評価 : 文脈感性決定制御のための軌道ベースフレームワーク
- Abstract要約: キャパビリティベンチマークは、大きな言語モデルにできることを計測するが、決定条件が変更されても、その推奨が適切かどうかを判断する。
本稿では,人工知能のための軌道ベース計測フレームワークと予測検証プロトコルを提案する。
- 参考スコア（独自算出の注目度）: 6.357610542179542
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Capability benchmarks measure what large language models can do, but not whether their recommendations remain appropriate as decision conditions change. This paper proposes a trajectory-based measurement framework and prospective validation protocol for artificial wisdom, defined behaviorally as context-sensitive regulation of judgment. Versioned reference specifications determine admissible responses and transition materiality before evaluation. Seven stage-level criteria assess judgment under current conditions, while two transition components assess material-update adequacy and commitment-preserving stability. Stability requires prior adequacy; switching within registered commitment classes is permitted, and persistent error earns no stability credit. A nine-component profile is primary, with a secondary bottleneck score and separate critical-failure reporting. Three simplified simulations examine precision, bottleneck estimation, and sensitivity to model-family count. A single-criterion simulation met its precision criteria at 24 scenarios per domain. Near a bottleneck tie, the estimated minimum had a downward bias of 0.55 points at that size. A simplified incremental-prediction simulation detected a Brier improvement of 0.027 with probabilities of .508 and .742 using eight and twelve families, respectively; it does not establish power for the operational protocol. An exploratory predecessor-rubric study comprising 71 evaluation records illustrates aggregation sensitivity but does not validate the proposed instrument. The twelve-family target remains provisional pending feasibility assessment and calibration of the complete analysis. Whether the profile predicts independent decision outcomes beyond capability remains an open empirical question.
- Abstract（参考訳）: キャパビリティベンチマークは、大きな言語モデルにできることを計測するが、決定条件が変更されても、その推奨が適切かどうかを判断する。
本稿では,文脈依存型判断規則として行動的に定義された人工知恵のための軌道ベース測定フレームワークと予測検証プロトコルを提案する。
バージョン付き参照仕様は、評価の前に許容応答と遷移物質性を決定する。
7段階の基準で現行の条件下での判定が評価され, 物質更新精度とコミットメント保存安定性が評価された。
登録されたコミットメントクラス内での切り替えは許可され、永続的なエラーは安定性の信用を得られない。
9成分プロファイルは一次であり、二次ボトルネックスコアと別個の臨界障害レポートがある。
モデルファミリー数に対する精度,ボトルネック推定,感度の3つの簡易シミュレーションを行った。
単一基準シミュレーションは、その精度基準を1ドメイン当たり24のシナリオで満たした。
ボトルネック・タイ付近では、推定最小値は、その大きさで0.15ポイント下方偏差があった。
単純化されたインクリメンタル予測シミュレーションは、それぞれ8ファミリーと12ファミリーを使用した.508と.742の確率で0.027の改善を検知した。
71の評価記録を含む探索的先駆ルーブリック研究は、凝集感度を示すが、提案手法の検証はしていない。
12戸の目標は、完全な分析の暫定的実施可能性評価と校正に留まっている。
プロファイルが能力以上の独立した決定結果を予測するかどうかは、まだ明らかな実証的な疑問である。
関連論文リスト
- From Association to Decision Value: Testing Paired Instruction Dependence for VLA Corpus Selection [3.383341806828598]
本研究は,目標のみを変更すると,実証者が最初の決定を変更できる確率であるペア命令依存度について検討する。
56コーパスで発生した予測は, それぞれ独立に開花した4次航法コーパス136回にわたって, 80個の保留コーパスで前向きに評価した。
監査は信頼性が高く、下流対の正当性と関連付けられ、正当性を認識したベースラインに追加した場合の平均絶対予測誤差を低くする。
論文 参考訳（メタデータ） (2026-10-21T12:27:55Z) - Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Belief-Informed Hybrid Control with Almost-Sure Target-Set Convergence [5.4872967954342675]
パラメータ不確実性の下でターゲットセットにハイブリッドシステムを制御するには、システム状態が指定されたセットから一時的に切り離されるような情報的アクションが必要になる。
本稿では,信念空間の後退-水平選択と事前制約を結合した2元制御アルゴリズムを提案する。
アルゴリズムの2段階のルックセレクションでは、予測された観測値を用いてパラメータの信念を更新し、その後の行動の許容性を評価する。
論文 参考訳（メタデータ） (2026-10-06T03:08:15Z) - Risk-Aware Online Conformal State Probing [65.02200443982082]
オンライン整合状態探索(オンライン整合状態探索、OCSP)は、分布仮定に頼ることなく最悪のケースの信頼性レベルを認定する行動・探索政策である。
OCSPは、リトレーニングや微調整を必要とせずに、既存のバリューベースのコントロールポリシーに適用することができる。
論文 参考訳（メタデータ） (2026-09-22T08:55:09Z) - Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。
我々は,実行前の基準下での両使用量を評価した。
検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
論文 参考訳（メタデータ） (2026-09-17T09:17:00Z) - Settling: Equilibrium Inference for Non-Convex Validity Sets [0.45687771576879593]
正方形損失の下では、曖昧な条件分布は、無効な単一点推定を持つことができる。
本研究では,この故障を条件付き平均崩壊として定式化し,提案生成と整合性評価,テスト時間選択を分離した平衡演算子であるSetlingを導入する。
論文 参考訳（メタデータ） (2026-09-09T03:57:24Z) - Conformal Reliability: A New Evaluation Metric for Conditional Generation [62.761166941396844]
条件付き生成モデルは、近年、様々な応用において顕著な成功を収めている。
本稿では,信頼度を事前に設定した予測値に基づいて,信頼度という新たな評価指標を提案する。
本稿では, 予測セットの構築と, (ii) 構築した予測セット内の信頼性スコアを正確に最適化するフレームワークであるConformal Reliability(CReL)を紹介する。
論文 参考訳（メタデータ） (2026-05-29T03:52:44Z) - Active Inference with Reusable State-Dependent Value Profiles [0.0]
生成モデルにおける隠れ状態に割り当てられた値関連パラメータの小さな再利用可能なバンドル。
この枠組みを確率論的逆転学習において評価し,静的精度,エントロピー結合動的精度,プロファイルベースモデルを比較した。
論文 参考訳（メタデータ） (2025-12-03T04:11:57Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Approaching Neural Network Uncertainty Realism [53.308409014122816]
自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。
マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。
自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
論文 参考訳（メタデータ） (2021-01-08T11:56:12Z) - Confounding-Robust Policy Evaluation in Infinite-Horizon Reinforcement
Learning [70.01650994156797]
教育医療などのバッチ強化学習において、観察データからのシーケンシャルな意思決定方針のオフ・アセスメントが必要である。
我々は、ある政策の境界を推定するアプローチを開発する。
より凝縮したデータを集めることで、シャープな境界への収束を証明します。
論文 参考訳（メタデータ） (2020-02-11T16:18:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。