論文の概要: Evidence-Driven Decision Support for AI Model Selection in Research Software Engineering

• arxiv url: http://arxiv.org/abs/2512.11984v1
• Date: Fri, 12 Dec 2025 19:08:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.058974
• Title: Evidence-Driven Decision Support for AI Model Selection in Research Software Engineering
• Title（参考訳）: 研究ソフトウェア工学におけるAIモデル選択のためのエビデンス駆動決定支援
• Authors: Alireza Joonbakhsh, Alireza Rostami, AmirMohammad Kamalinia, Ali Nazeri, Farshad Khunjush, Bedir Tekinerdogan, Siamak Farshidi,
• Abstract要約: モデル選択は、断片化されたメタデータと個々の専門知識に依存して、しばしばアドホックな方法で実行される。 この研究は、技術的および文脈的要件の両方に適合するAIモデル選択をサポートする、構造化されたエビデンス駆動のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 1.6143785602877398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid proliferation of artificial intelligence (AI) models and methods presents growing challenges for research software engineers and researchers who must select, integrate, and maintain appropriate models within complex research workflows. Model selection is often performed in an ad hoc manner, relying on fragmented metadata and individual expertise, which can undermine reproducibility, transparency, and overall research software quality. This work proposes a structured and evidence-driven approach to support AI model selection that aligns with both technical and contextual requirements. We conceptualize AI model selection as a Multi-Criteria Decision-Making (MCDM) problem and introduce an evidence-based decision-support framework that integrates automated data collection pipelines, a structured knowledge graph, and MCDM principles. Following the Design Science Research methodology, the proposed framework (ModelSelect) is empirically validated through 50 real-world case studies and comparative experiments against leading generative AI systems. The evaluation results show that ModelSelect produces reliable, interpretable, and reproducible recommendations that closely align with expert reasoning. Across the case studies, the framework achieved high coverage and strong rationale alignment in both model and library recommendation tasks, performing comparably to generative AI assistants while offering superior traceability and consistency. By framing AI model selection as an MCDM problem, this work establishes a rigorous foundation for transparent and reproducible decision support in research software engineering. The proposed framework provides a scalable and explainable pathway for integrating empirical evidence into AI model recommendation processes, ultimately improving the quality and robustness of research software decision-making.
• Abstract（参考訳）: 人工知能(AI)モデルと手法の急速な普及は、複雑な研究ワークフロー内で適切なモデルを選択し、統合し、維持しなければならない研究ソフトウェアエンジニアや研究者にとって、課題が増えていることを示している。 モデル選択は、断片化されたメタデータと個々の専門知識に依存して、しばしばアドホックな方法で行われ、再現性、透明性、そして全体的な研究ソフトウェアの品質を損なう。 この研究は、技術的および文脈的要件の両方に適合するAIモデル選択をサポートする、構造化されたエビデンス駆動のアプローチを提案する。 我々は、AIモデル選択を、MCDM(Multi-Criteria Decision-Making)問題として概念化し、自動データ収集パイプライン、構造化知識グラフ、MCDM原則を統合するエビデンスベースの意思決定支援フレームワークを導入する。 Design Science Researchの方法論に従って、提案されたフレームワーク(ModelSelect)は、50の現実世界のケーススタディと、主要な生成AIシステムに対する比較実験を通じて実証的に検証される。 評価結果は、ModelSelectが専門家の推論と密接に一致した信頼性、解釈可能、再現可能なレコメンデーションを生成することを示す。 ケーススタディ全体で、このフレームワークはモデルとライブラリのレコメンデーションタスクの両方において、高いカバレッジと強力な合理的なアライメントを実現し、生成AIアシスタントと互換性を持ちながら、優れたトレーサビリティと一貫性を提供する。 この研究は、AIモデル選択をMCDM問題とすることで、研究ソフトウェア工学における透明で再現可能な意思決定支援のための厳格な基盤を確立する。 提案されたフレームワークは、経験的証拠をAIモデルレコメンデーションプロセスに統合するためのスケーラブルで説明可能なパスを提供し、究極的には研究ソフトウェア意思決定の品質と堅牢性を改善する。

関連論文リスト

• Q-Sat AI: Machine Learning-Based Decision Support for Data Saturation in Qualitative Studies [0.0]
  定性的研究におけるサンプルサイズの決定は、伝統的にデータ飽和の主観的かつ曖昧な原則に依存してきた。 本研究では、機械学習(ML)に基づく新しい体系モデルを導入し、このプロセスをより客観的にする。
  論文  参考訳（メタデータ） (2025-11-02T17:18:51Z)
• Towards Human-AI Synergy in Requirements Engineering: A Framework and Preliminary Study [2.195918681143262]
  本稿では,Human-AI RE Synergy Model(HARE-SM)を紹介する。 このモデルは、AIによる分析と人間の監視を統合して、要求の推論、分析、検証を改善する。 我々は、REデータセットの作成、微調整AIモデル、協調型ヒューマンAIの設計に焦点を当てた多段階の研究方法論を概説する。
  論文  参考訳（メタデータ） (2025-10-28T22:29:11Z)
• Towards the Next Generation of Software: Insights from Grey Literature on AI-Native Applications [13.876049229274114]
  AIネイティブアプリケーションは、ソフトウェアの設計、開発、進化の方法を根本的に再定義する、ソフトウェアエンジニアリングの新しいパラダイムである。 人気が高まっているにもかかわらず、AIネイティブアプリケーションには、統一されたエンジニアリング定義とアーキテクチャの青写真がない。 本研究は、AIネイティブアプリケーションの定義特性、キー品質特性、および典型的な技術スタックを識別することにより、AIネイティブアプリケーションの包括的な理解を確立することを目的とする。
  論文  参考訳（メタデータ） (2025-09-16T15:01:23Z)
• A Vision for Auto Research with LLM Agents [46.95148319863236]
  本稿では,科学研究の全ライフサイクルの自動化,コーディネート,最適化を目的とした構造化マルチエージェントフレームワークであるエージェントベースオートリサーチを紹介する。 このシステムは、文献レビュー、アイデア、方法論、実験、論文執筆、査読応答、普及など、すべての主要な研究段階にまたがる。
  論文  参考訳（メタデータ） (2025-04-26T02:06:10Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• TrainerAgent: Customizable and Efficient Model Training through LLM-Powered Multi-Agent System [14.019244136838017]
  TrainerAgentは、タスク、データ、モデル、サーバーエージェントを含むマルチエージェントフレームワークである。 これらのエージェントは、ユーザ定義のタスク、入力データ、要求(例えば、精度、速度)を分析し、データとモデルの両方の観点からそれらを最適化して満足なモデルを取得し、最終的にこれらのモデルをオンラインサービスとしてデプロイする。 本研究は,従来のモデル開発と比較して,効率と品質が向上した望ましいモデルの実現において,大きな進歩を示すものである。
  論文  参考訳（メタデータ） (2023-11-11T17:39:24Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。