論文の概要: SAIBench: Benchmarking AI for Science

• arxiv url: http://arxiv.org/abs/2206.05418v1
• Date: Sat, 11 Jun 2022 04:19:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 15:34:53.893968
• Title: SAIBench: Benchmarking AI for Science
• Title（参考訳）: SAIBench: 科学のためのAIのベンチマーク
• Authors: Yatao Li, Jianfeng Zhan
• Abstract要約: 我々は科学的なAIベンチマークの問題を定式化し、SAIBenchと呼ばれるシステムを提案する。 このシステムは、研究問題、AIモデル、ランキング基準、ソフトウェア/ハードウェア構成を再利用モジュールに分離するドメイン固有言語であるSAILを使って、この目標にアプローチする。
• 参考スコア（独自算出の注目度）: 3.2724772895344314
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Scientific research communities are embracing AI-based solutions to target tractable scientific tasks and improve research workflows. However, the development and evaluation of such solutions are scattered across multiple disciplines. We formalize the problem of scientific AI benchmarking, and propose a system called SAIBench in the hope of unifying the efforts and enabling low-friction on-boarding of new disciplines. The system approaches this goal with SAIL, a domain-specific language to decouple research problems, AI models, ranking criteria, and software/hardware configuration into reusable modules. We show that this approach is flexible and can adapt to problems, AI models, and evaluation methods defined in different perspectives. The project homepage is https://www.computercouncil.org/SAIBench
• Abstract（参考訳）: 科学研究コミュニティは、抽出可能な科学的タスクをターゲットにし、研究ワークフローを改善するAIベースのソリューションを受け入れている。 しかし、そのようなソリューションの開発と評価は複数の分野に分散している。 我々は、科学的なAIベンチマークの問題を定式化し、新しい分野への取り組みを統一し、低フリクションを可能にすることを期待して、SAIBenchと呼ばれるシステムを提案する。 このシステムは、研究問題、AIモデル、ランキング基準、ソフトウェア/ハードウェア構成を再利用モジュールに分離するドメイン固有言語であるSAILを使って、この目標にアプローチする。 このアプローチは柔軟で,さまざまな視点で定義された問題やAIモデル,評価手法に適応可能であることを示す。 プロジェクトのホームページはhttps://www. computercouncil.org/SAIBench

関連論文リスト

• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• SEGO: Sequential Subgoal Optimization for Mathematical Problem-Solving [64.38649623473626]
  大規模言語モデル(LLM)は人工知能の大幅な進歩を導いた。 数学的問題を解く能力を高めるために,textbfSEquential subtextbfGoal textbfOptimization (SEGO) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-19T17:56:40Z)
• Does AI for science need another ImageNet Or totally different benchmarks? A case study of machine learning force fields [5.622820801789953]
  AI for Science(AI4S)は、機械学習手法を用いて科学計算タスクの精度とスピードを高めることを目的としている。 従来のAIベンチマーク手法は、トレーニング、テスト、将来の現実世界のクエリが独立して同一に分散されていると仮定するため、AI4Sが引き起こすユニークな課題に適応するのに苦労する。 本稿では,機械学習力場(MLFF)をケーススタディとして,科学のためのAIを効果的にベンチマークするための新しいアプローチの必要性について検討する。
  論文  参考訳（メタデータ） (2023-08-11T08:06:58Z)
• Bridging MDE and AI: A Systematic Review of Domain-Specific Languages and Model-Driven Practices in AI Software Systems Engineering [1.4853133497896698]
  本研究の目的は、AIソフトウェアシステムのエンジニアリングを支援するために、DSLに依存した既存のモデル駆動アプローチを検討することである。 AIにMDEを使うことはまだ初期段階にあり、広く使われているツールやメソッドはひとつもない。
  論文  参考訳（メタデータ） (2023-07-10T14:38:38Z)
• OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
  ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。 この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。 マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
  論文  参考訳（メタデータ） (2023-04-10T03:55:35Z)
• AI for Science: An Emerging Agenda [30.260160661295682]
  本報告では,Dagtuhl Seminar 22382 "Machine Learning for Science: Bridging Data-Driven and Mechanistic Modelling"のプログラムと成果について報告する。 AIの変革的ポテンシャルは、分野にわたって広く適用可能であることに由来するもので、研究領域間での統合によってのみ達成される。 技術的な進歩に加えて、この分野における次の進歩の波は、機械学習研究者、ドメインエキスパート、市民科学者、エンジニアのコミュニティを構築することにある。
  論文  参考訳（メタデータ） (2023-03-07T20:21:43Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• SAIH: A Scalable Evaluation Methodology for Understanding AI Performance Trend on HPC Systems [18.699431277588637]
  本稿では,HPCシステムのAI性能傾向を分析するためのスケーラブルな評価手法(SAIH)を提案する。 データとモデルは絶えずスケールするので、HPCシステムにおけるAIパフォーマンスの傾向と範囲を調べることができる。
  論文  参考訳（メタデータ） (2022-12-07T02:42:29Z)
• An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
  我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。 本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
  論文  参考訳（メタデータ） (2021-08-09T17:39:09Z)
• Software Engineering for AI-Based Systems: A Survey [8.550158373713906]
  AIベースのシステムの構築、運用、保守のためのソフトウェアエンジニアリングのアプローチに関する合成知識は限られています。 AIベースのシステムのためのSEは、2018年以来、研究の2/3以上が出版されている新興研究領域です。 AIベースのシステムの最も研究された特性は信頼性と安全性です。
  論文  参考訳（メタデータ） (2021-05-05T11:22:08Z)
• Artificial Intelligence for IT Operations (AIOPS) Workshop White Paper [50.25428141435537]
  AIOps(Artificial Intelligence for IT Operations)は、マシンラーニング、ビッグデータ、ストリーミング分析、IT運用管理の交差点で発生する、新たな学際分野である。 AIOPSワークショップの主な目的は、アカデミアと産業界の両方の研究者が集まり、この分野での経験、成果、作業について発表することです。
  論文  参考訳（メタデータ） (2021-01-15T10:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。