論文の概要: What's documented in AI? Systematic Analysis of 32K AI Model Cards
- arxiv url: http://arxiv.org/abs/2402.05160v1
- Date: Wed, 7 Feb 2024 18:04:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 17:46:15.102226
- Title: What's documented in AI? Systematic Analysis of 32K AI Model Cards
- Title（参考訳）: AIで何が文書化されているか?
32k aiモデルカードの系統的解析
- Authors: Weixin Liang, Nazneen Rajani, Xinyu Yang, Ezinwanne Ozoani, Eric Wu,
Yiqun Chen, Daniel Scott Smith, James Zou
- Abstract要約: 我々は、Hugging Face上で32,111のAIモデルドキュメンテーションを包括的に分析する。
かなりダウンロードされたAIモデルのほとんどはモデルカードを提供するが、カードには不明確な情報がある。
その結果, 環境影響, 限界, 評価に対処する区間は, 最下位の充足率を示す一方, トレーニング区間は最下位の充足率を示すことがわかった。
- 参考スコア（独自算出の注目度）: 40.170354637778345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid proliferation of AI models has underscored the importance of
thorough documentation, as it enables users to understand, trust, and
effectively utilize these models in various applications. Although developers
are encouraged to produce model cards, it's not clear how much information or
what information these cards contain. In this study, we conduct a comprehensive
analysis of 32,111 AI model documentations on Hugging Face, a leading platform
for distributing and deploying AI models. Our investigation sheds light on the
prevailing model card documentation practices. Most of the AI models with
substantial downloads provide model cards, though the cards have uneven
informativeness. We find that sections addressing environmental impact,
limitations, and evaluation exhibit the lowest filled-out rates, while the
training section is the most consistently filled-out. We analyze the content of
each section to characterize practitioners' priorities. Interestingly, there
are substantial discussions of data, sometimes with equal or even greater
emphasis than the model itself. To evaluate the impact of model cards, we
conducted an intervention study by adding detailed model cards to 42 popular
models which had no or sparse model cards previously. We find that adding model
cards is moderately correlated with an increase weekly download rates. Our
study opens up a new perspective for analyzing community norms and practices
for model documentation through large-scale data science and linguistics
analysis.
- Abstract（参考訳）: aiモデルの急速な普及は、ユーザがさまざまなアプリケーションでこれらのモデルを理解し、信頼し、効果的に利用できるようにするため、詳細なドキュメントの重要性を強調している。
開発者はモデルカードの作成を奨励されるが、それらのカードがどの程度の情報やどの情報を含んでいるかは明らかではない。
本研究では,AIモデルを配布,デプロイするための主要なプラットフォームであるHugging Face上で,32,111のAIモデルドキュメンテーションを包括的に分析する。
我々の調査は、広く普及しているモデルカードのドキュメンテーションプラクティスに光を当てている。
かなりダウンロードされたAIモデルのほとんどはモデルカードを提供するが、カードには不明確な情報がある。
その結果, 環境影響, 限界, 評価に対処する区間は, 最下位の充足率を示す一方, トレーニング区間は最下位の充足率を示すことがわかった。
各セクションの内容を分析し,実践者の優先順位を特徴付ける。
興味深いことに、データに関する実質的な議論があり、時にはモデル自体よりも等しく、あるいはそれ以上に重点を置いている。
モデルカードの効果を評価するため,従来モデルカードが不足していた42種類の人気モデルに詳細なモデルカードを付加し,介入調査を行った。
モデルカードの追加は週間ダウンロード率の増加と適度に相関していることがわかった。
本研究は,大規模データサイエンスと言語学の分析を通じて,モデルドキュメンテーションのコミュニティ規範と実践を分析するための新たな視点を開く。
関連論文リスト
- Guiding Attention in End-to-End Driving Models [49.762868784033785]
模倣学習によって訓練された視覚ベースのエンドツーエンドの運転モデルは、自動運転のための安価なソリューションにつながる可能性がある。
トレーニング中に損失項を追加することにより、これらのモデルの注意を誘導し、運転品質を向上させる方法について検討する。
従来の研究とは対照的に,本手法では,テスト期間中にこれらの有意義なセマンティックマップを利用できない。
論文 参考訳（メタデータ） (2024-04-30T23:18:51Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - The State of Documentation Practices of Third-party Machine Learning
Models and Datasets [8.494940891363813]
我々は,現在使用されている最大規模のモデルストアのひとつにおいて,モデルカードとデータセットカードの文書化の実践状況を評価する。
調査の結果,21,902モデル (39.62%) と1,925データセット (28.48%) のみが文書化されていることがわかった。
論文 参考訳（メタデータ） (2023-12-22T20:45:52Z) - Unlocking Model Insights: A Dataset for Automated Model Card Generation [4.167070553534516]
25のMLモデルに対して500対の質問応答ペアのデータセットを導入する。
元の論文から回答を抽出するためにアノテーションを使用します。
また,ChatGPT-3.5,LLaMa,Galacticaを用いた実験では,これらのLMによる研究論文の理解に大きなギャップが認められた。
論文 参考訳（メタデータ） (2023-09-22T04:46:11Z) - Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering [26.34649731975005]
Retriever-augmented instruction-following modelは、質問応答のための微調整アプローチ(QA)の魅力的な代替品である
モデル応答は自然で流動的である傾向にあるが、追加の冗長性により、モデルパフォーマンスを正確に定量化するために従来のQA評価指標は信頼できない。
1) ユーザの情報要求(正確性)をどの程度満足させるか,2) 提供された知識(忠実性)に基づいて応答を生成するか,という2つの次元に沿って,これらのモデルを評価するために,自動評価と人的評価の両方を用いる。
論文 参考訳（メタデータ） (2023-07-31T17:41:00Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。
モデル能力,トレーニングデータ,モデル解釈について検討した。
我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
論文 参考訳（メタデータ） (2022-12-15T19:49:34Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Aspirations and Practice of Model Documentation: Moving the Needle with
Nudging and Traceability [8.875661788022637]
機械学習モデルの文書化実践を支援するための一連の設計ガイドラインを提案する。
DocMLという名前のプロトタイプツールは、計算ノートブックのモデル開発をサポートするためのガイドラインに従っている。
論文 参考訳（メタデータ） (2022-04-13T14:39:18Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳（メタデータ） (2020-07-14T03:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。