論文の概要: Measuring the Complexity of Domains Used to Evaluate AI Systems

• arxiv url: http://arxiv.org/abs/2010.01985v1
• Date: Fri, 18 Sep 2020 21:53:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 03:08:58.110382
• Title: Measuring the Complexity of Domains Used to Evaluate AI Systems
• Title（参考訳）: AIシステム評価に用いるドメインの複雑さの測定
• Authors: Christopher Pereyda, Lawrence Holder
• Abstract要約: 本稿では,様々な領域間の複雑性を測定するための理論を提案する。 この測定の応用は、様々な状況におけるツールとしての有効性を示すために示される。 本稿では,AIシステムのインテリジェンスを計算するために,このような複雑性メトリクスの今後の利用を提案する。
• 参考スコア（独自算出の注目度）: 0.48951183832371004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is currently a rapid increase in the number of challenge problem, benchmarking datasets and algorithmic optimization tests for evaluating AI systems. However, there does not currently exist an objective measure to determine the complexity between these newly created domains. This lack of cross-domain examination creates an obstacle to effectively research more general AI systems. We propose a theory for measuring the complexity between varied domains. This theory is then evaluated using approximations by a population of neural network based AI systems. The approximations are compared to other well known standards and show it meets intuitions of complexity. An application of this measure is then demonstrated to show its effectiveness as a tool in varied situations. The experimental results show this measure has promise as an effective tool for aiding in the evaluation of AI systems. We propose the future use of such a complexity metric for use in computing an AI system's intelligence.
• Abstract（参考訳）: 現在、AIシステムを評価するための課題問題、データセットのベンチマーク、アルゴリズム最適化テストが急速に増加している。 しかし、これらの新しく作成されたドメイン間の複雑さを決定する客観的な尺度は存在しない。 この領域横断試験の欠如は、より一般的なAIシステムを効果的に研究する障害を生み出す。 異なる領域間の複雑性を測定するための理論を提案する。 この理論は、ニューラルネットワークベースのAIシステムの集団による近似を用いて評価される。 近似は他のよく知られた標準と比較され、複雑さの直観を満たすことを示す。 この測定の応用は、様々な状況におけるツールとしての有効性を示す。 実験の結果,AIシステム評価を支援する効果的なツールとして,この尺度が期待されている。 本稿では,AIシステムのインテリジェンスを計算するために,このような複雑性メトリクスの今後の利用を提案する。

関連論文リスト

• No Free Delivery Service: Epistemic limits of passive data collection in complex social systems [11.990018360916553]
  複雑な社会システムにおいて広く考慮されている推論設定において、列車試験のパラダイムは正当化を欠いているだけでなく、リスク推定装置に対して実際に無効であることを示す。 私は、広く使われているMovieLensベンチマークを通じてこれらの結果を説明し、これらの結果が社会システムにおけるAIに与える影響について議論することで結論付けています。
  論文  参考訳（メタデータ） (2024-11-20T19:01:03Z)
• AI-Compass: A Comprehensive and Effective Multi-module Testing Tool for AI Systems [26.605694684145313]
  本研究では,AIシステムを包括的かつ効果的に評価するテストツール,ツールを設計,実装する。 このツールは、敵の堅牢性、モデル解釈可能性、およびニューロン分析を広範囲に評価する。 私たちの研究は、ランドスケープをテストするAIシステムの一般的なソリューションに光を当てています。
  論文  参考訳（メタデータ） (2024-11-09T11:15:17Z)
• Networks of Networks: Complexity Class Principles Applied to Compound AI Systems Design [63.24275274981911]
  多くの言語モデル推論コールからなる複合AIシステムは、ますます採用されている。 本研究では,提案した回答の生成と正当性検証の区別を中心に,ネットワークネットワーク(NoN)と呼ばれるシステムを構築した。 我々は,Kジェネレータを備えた検証器ベースの判定器NoNを導入し,"Best-of-K"あるいは"judge-based"複合AIシステムのインスタンス化を行う。
  論文  参考訳（メタデータ） (2024-07-23T20:40:37Z)
• Random Aggregate Beamforming for Over-the-Air Federated Learning in Large-Scale Networks [66.18765335695414]
  本稿では,アグリゲーションエラーを最小限に抑え,選択したデバイス数を最大化する目的で,共同装置の選択とアグリゲーションビームフォーミング設計について検討する。 コスト効率のよい方法でこの問題に取り組むために,ランダムな集合ビームフォーミング方式を提案する。 また, 得られた集計誤差と, デバイス数が大きい場合に選択したデバイス数についても解析を行った。
  論文  参考訳（メタデータ） (2024-02-20T23:59:45Z)
• SAIH: A Scalable Evaluation Methodology for Understanding AI Performance Trend on HPC Systems [18.699431277588637]
  本稿では,HPCシステムのAI性能傾向を分析するためのスケーラブルな評価手法(SAIH)を提案する。 データとモデルは絶えずスケールするので、HPCシステムにおけるAIパフォーマンスの傾向と範囲を調べることができる。
  論文  参考訳（メタデータ） (2022-12-07T02:42:29Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• Robustness testing of AI systems: A case study for traffic sign recognition [13.395753930904108]
  本稿では,AIシステムのロバスト性を実際に検討し,どの手法やメトリクスを利用できるかを示す。 自律運転における交通標識認識の例について,ロバストネステスト手法を解説し,分析した。
  論文  参考訳（メタデータ） (2021-08-13T10:29:09Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• The Threats of Artificial Intelligence Scale (TAI). Development, Measurement and Test Over Three Application Domains [0.0]
  いくつかの世論調査は、自律ロボットと人工知能(FARAI)の公衆の恐怖を頻繁に問う 我々は、AIシステムの4つの機能クラスを考慮し、AIアプリケーションの様々な領域に適用可能な、AIの脅威知覚を測定するためのきめ細かいスケールを提案する。 データは提案されたAIのThreats of AI(TAI)スケールの次元構造と、インジケータの内部一貫性と因子的妥当性をサポートする。
  論文  参考訳（メタデータ） (2020-06-12T14:15:02Z)
• Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
  異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。 我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。 我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
  論文  参考訳（メタデータ） (2020-04-15T15:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。