論文の概要: Inferring Capabilities from Task Performance with Bayesian Triangulation
- arxiv url: http://arxiv.org/abs/2309.11975v1
- Date: Thu, 21 Sep 2023 11:19:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 15:52:49.983232
- Title: Inferring Capabilities from Task Performance with Bayesian Triangulation
- Title(参考訳): ベイズ三角測量によるタスク性能の推定
- Authors: John Burden, Konstantinos Voudouris, Ryan Burnell, Danaja Rutar, Lucy
Cheke, Jos\'e Hern\'andez-Orallo
- Abstract要約: 本稿では,多様な実験データからシステムの認知的プロファイルを推定する手法について述べる。
これらの特徴は、非人口データから機能を推測するために、複雑な方法で三角測量されなければならない。
能力指向評価の可能性を示す。
- 参考スコア(独自算出の注目度): 11.418934051317411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As machine learning models become more general, we need to characterise them
in richer, more meaningful ways. We describe a method to infer the cognitive
profile of a system from diverse experimental data. To do so, we introduce
measurement layouts that model how task-instance features interact with system
capabilities to affect performance. These features must be triangulated in
complex ways to be able to infer capabilities from non-populational data -- a
challenge for traditional psychometric and inferential tools. Using the
Bayesian probabilistic programming library PyMC, we infer different cognitive
profiles for agents in two scenarios: 68 actual contestants in the AnimalAI
Olympics and 30 synthetic agents for O-PIAAGETS, an object permanence battery.
We showcase the potential for capability-oriented evaluation.
- Abstract(参考訳): 機械学習モデルがより一般的になるにつれて、より豊かで有意義な方法で特徴付ける必要があります。
多様な実験データからシステムの認知プロファイルを推定する手法について述べる。
そこで我々は,タスクインテンス機能とシステム機能との相互作用をモデル化し,性能に影響を及ぼす計測レイアウトを提案する。
これらの機能は、非人口データから能力を予測するために複雑な方法で三角測量されなければならない。
ベイズ確率論的プログラムライブラリPyMCを用いて,動物AIオリンピックの68人の実際の競技者と,オブジェクト永続電池O-PIAAGETSの30人の合成エージェントの2つのシナリオで,エージェントの認知プロファイルを推定した。
我々は能力指向評価の可能性を示す。
関連論文リスト
- Prospector Heads: Generalized Feature Attribution for Large Models &
Data [63.33062996732212]
本稿では,特徴帰属のための説明に基づく手法の,効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳(メタデータ) (2024-02-18T23:01:28Z) - Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。
本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
論文 参考訳(メタデータ) (2024-02-08T22:05:45Z) - Autonomous Capability Assessment of Sequential Decision-Making Systems
in Stochastic Settings (Extended Version) [27.825419721676766]
ユーザは自分のAIシステムに何ができるかを理解し、安全に使用するためには不可能である。
本稿では,ブラックボックス型AIシステムにおいて,計画と動作が可能な能力をモデル化するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-06-07T22:05:48Z) - Differentiable Agent-based Epidemiology [71.81552021144589]
GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。
GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
論文 参考訳(メタデータ) (2022-07-20T07:32:02Z) - A Machine Learning Framework for Event Identification via Modal Analysis
of PMU Data [17.105110901241094]
本稿では,モーダルダイナミクスに基づく特徴抽出によるイベントの同定を提案する。
従来の物理に基づく特徴抽出手法と機械学習を組み合わせて、異なるイベントタイプを区別する。
以上の結果から,提案フレームワークは2種類のイベントを識別できる可能性が示唆された。
論文 参考訳(メタデータ) (2022-02-14T16:19:40Z) - Realistic simulation of users for IT systems in cyber ranges [63.20765930558542]
ユーザアクティビティを生成するために,外部エージェントを用いて各マシンを計測する。
このエージェントは、決定論的および深層学習に基づく手法を組み合わせて、異なる環境に適応する。
また,会話や文書の作成を容易にする条件付きテキスト生成モデルを提案する。
論文 参考訳(メタデータ) (2021-11-23T10:53:29Z) - A User-Guided Bayesian Framework for Ensemble Feature Selection in Life
Science Applications (UBayFS) [0.0]
本稿では,ベイズ統計フレームワークに組み込んだアンサンブル特徴選択手法UBayFSを提案する。
提案手法は,データとドメイン知識の2つの情報源を考慮し,特徴選択のプロセスを強化する。
標準的な機能セレクタとの比較では、UBayFSは競争力のあるパフォーマンスを実現し、ドメイン知識を組み込むための柔軟性を提供する。
論文 参考訳(メタデータ) (2021-04-30T06:51:33Z) - Diverse Complexity Measures for Dataset Curation in Self-driving [80.55417232642124]
トラフィックシーンの面白さを定量化する多様な基準を活用した新たなデータ選択手法を提案する。
実験の結果,提案するキュレーションパイプラインは,より汎用的で高いパフォーマンスをもたらすデータセットを選択できることが判明した。
論文 参考訳(メタデータ) (2021-01-16T23:45:02Z) - A Trainable Optimal Transport Embedding for Feature Aggregation and its
Relationship to Attention [96.77554122595578]
固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。
我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
論文 参考訳(メタデータ) (2020-06-22T08:35:58Z) - StackGenVis: Alignment of Data, Algorithms, and Models for Stacking
Ensemble Learning Using Performance Metrics [4.989480853499916]
機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。
StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
論文 参考訳(メタデータ) (2020-05-04T15:43:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。