論文の概要: Performance, Opaqueness, Consequences, and Assumptions: Simple questions
for responsible planning of machine learning solutions
- arxiv url: http://arxiv.org/abs/2208.09966v1
- Date: Sun, 21 Aug 2022 21:24:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-23 12:48:57.633229
- Title: Performance, Opaqueness, Consequences, and Assumptions: Simple questions
for responsible planning of machine learning solutions
- Title(参考訳): パフォーマンス、不透明性、結果、仮定: 機械学習ソリューションの責任計画のための単純な質問
- Authors: Przemyslaw Biecek
- Abstract要約: 我々は,AIソリューションの計画を支援するための,迅速かつシンプルなフレームワークを提案する。
POCAフレームワークは、パフォーマンス、不透明性、コンシークエンス、そして見積もりの4つの柱に基づいている。
- 参考スコア(独自算出の注目度): 5.802346990263708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The data revolution has generated a huge demand for data-driven solutions.
This demand propels a growing number of easy-to-use tools and training for
aspiring data scientists that enable the rapid building of predictive models.
Today, weapons of math destruction can be easily built and deployed without
detailed planning and validation. This rapidly extends the list of AI failures,
i.e. deployments that lead to financial losses or even violate democratic
values such as equality, freedom and justice. The lack of planning, rules and
standards around the model development leads to the ,,anarchisation of AI".
This problem is reported under different names such as validation debt,
reproducibility crisis, and lack of explainability. Post-mortem analysis of AI
failures often reveals mistakes made in the early phase of model development or
data acquisition. Thus, instead of curing the consequences of deploying harmful
models, we shall prevent them as early as possible by putting more attention to
the initial planning stage.
In this paper, we propose a quick and simple framework to support planning of
AI solutions. The POCA framework is based on four pillars: Performance,
Opaqueness, Consequences, and Assumptions. It helps to set the expectations and
plan the constraints for the AI solution before any model is built and any data
is collected. With the help of the POCA method, preliminary requirements can be
defined for the model-building process, so that costly model misspecification
errors can be identified as soon as possible or even avoided. AI researchers,
product owners and business analysts can use this framework in the initial
stages of building AI solutions.
- Abstract(参考訳): データ革命は、データ駆動ソリューションに対する大きな需要を生み出した。
この需要は、予測モデルの迅速な構築を可能にするデータサイエンティストを志すための、多くの使いやすいツールとトレーニングを促進する。
今日では、詳細な計画や検証なしに、数学の破壊兵器を簡単に構築、展開することができる。
これはAIの失敗のリスト、すなわち経済的損失を招いたり、平等や自由、正義といった民主的価値を侵害するデプロイメントを急速に拡張する。
モデル開発に関する計画やルール、標準の欠如は、"AIの非構造化"につながります。
この問題は、検証債務、再現性危機、説明可能性の欠如といった異なる名前で報告される。
AI障害の事後分析は、モデル開発やデータ取得の初期段階で犯された誤りをしばしば明らかにする。
したがって、有害なモデルを配置する結果を修正する代わりに、初期計画段階により多くの注意を払って可能な限り早期に防止する。
本稿では,AIソリューションの計画を支援するための,迅速かつシンプルなフレームワークを提案する。
POCAフレームワークは、パフォーマンス、不透明性、連続性、そして仮定の4つの柱に基づいている。
任意のモデルが構築され、データが収集される前に、期待値を設定し、AIソリューションの制約を計画するのに役立つ。
POCA法の助けを借りて、モデル構築プロセスの予備要件を定義することができ、コストのかかるモデルミス特定エラーをできるだけ早く特定したり、回避したりすることができる。
AI研究者、プロダクトオーナ、ビジネスアナリストは、AIソリューションを構築する初期段階でこのフレームワークを使用することができる。
関連論文リスト
- Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である
本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文 参考訳(メタデータ) (2023-12-22T17:57:57Z) - Automated Process Planning Based on a Semantic Capability Model and SMT [50.76251195257306]
製造システムと自律ロボットの研究において、機械で解釈可能なシステム機能の仕様に「能力」という用語が用いられる。
セマンティック能力モデルから始めて、AI計画問題を自動的に生成するアプローチを提案する。
論文 参考訳(メタデータ) (2023-12-14T10:37:34Z) - Robots That Ask For Help: Uncertainty Alignment for Large Language Model
Planners [85.03486419424647]
KnowNoは、大きな言語モデルの不確実性を測定し、調整するためのフレームワークである。
KnowNoは、タスク完了に関する統計的保証を提供する共形予測理論に基づいている。
論文 参考訳(メタデータ) (2023-07-04T21:25:12Z) - Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
本研究では、しばしば使われない補助的監督源である言語の使用について検討する。
近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。
さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
論文 参考訳(メタデータ) (2023-06-21T20:47:23Z) - AI Model Utilization Measurements For Finding Class Encoding Patterns [2.702380921892937]
この研究は、訓練された人工知能(AI)モデルの活用度測定を設計する際の問題に対処する。
この問題は、セキュリティおよび安全クリティカルなアプリケーションにおけるAIモデルの説明可能性の欠如によって動機付けられている。
論文 参考訳(メタデータ) (2022-12-12T02:18:10Z) - IRJIT: A simple, online, information retrieval approach for just-in-time
software defect prediction [11.016730029019524]
ジャスト・イン・タイムのソフトウェア欠陥予測は、コミットチェックイン時にそれらを特定することによって、ソフトウェアに欠陥を導入するのを防ぐ。
現在の欠陥予測アプローチは、変更メトリクスなどの手作業による機能に依存しており、マシンラーニングやディープラーニングモデルのトレーニングにコストがかかる。
我々は,ソースコード上の情報検索を利用して,過去のバグやクリーンなコミットと類似性に基づいて,新しいコミットをバグやクリーンとしてラベル付けするIRJITという手法を提案する。
論文 参考訳(メタデータ) (2022-10-05T17:54:53Z) - Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and
Introspection [61.571331422347875]
モデルの信号認識性を高めるためのデータ駆動型手法を提案する。
コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。
モデル信号認識における最大4.8倍の改善を実現している。
論文 参考訳(メタデータ) (2021-11-10T17:58:18Z) - Discovering and Validating AI Errors With Crowdsourced Failure Reports [10.4818618376202]
クラウドソースの障害レポートや、モデルが失敗した理由や理由に関するエンドユーザの説明を導入し、開発者がAIエラーの検出にどのように使用できるかを示します。
また、障害レポートを合成する視覚分析システムであるDeblinderを設計、実装する。
半構造化されたインタビューと10人のAI実践者とのシンク・アラウド・スタディでは、現実の環境でのDeblinderシステムと障害報告の適用可能性について検討する。
論文 参考訳(メタデータ) (2021-09-23T23:26:59Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳(メタデータ) (2021-02-11T16:27:31Z) - Responsible AI Challenges in End-to-end Machine Learning [4.509599899042536]
aiを一般公開する企業の多くは、モデルをトレーニングする場合、その正確性を改善するだけでなく、モデルがユーザを差別しないことを保証する必要がある、と述べている。
進歩を測る3つの重要な研究方向を提案し、現在進行中の研究を紹介します。
まず、責任あるAIを深くサポートし、公正性と堅牢性といった複数の目的を一緒に扱う必要があります。
第二に、責任あるAIは、機械学習のすべてのステップで広くサポートされなければならない。
論文 参考訳(メタデータ) (2021-01-15T04:55:03Z) - Exploring the Nuances of Designing (with/for) Artificial Intelligence [0.0]
我々は,AIの設計において,アルゴリズムと社会の問題に同時に対処する手段として,インフラストラクチャの構築について検討する。
アルゴリズム的なソリューションも、純粋にヒューマニズム的なソリューションも、AIの狭い状態において完全に望ましくない結果をもたらすには十分ではない。
論文 参考訳(メタデータ) (2020-10-22T20:34:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。