論文の概要: Unlocking Model Insights: A Dataset for Automated Model Card Generation

• arxiv url: http://arxiv.org/abs/2309.12616v1
• Date: Fri, 22 Sep 2023 04:46:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 16:01:15.950340
• Title: Unlocking Model Insights: A Dataset for Automated Model Card Generation
• Title（参考訳）: Unlocking Model Insights: 自動モデルカード生成のためのデータセット
• Authors: Shruti Singh, Hitesh Lodwal, Husain Malwat, Rakesh Thakur, Mayank Singh
• Abstract要約: 25のMLモデルに対して500対の質問応答ペアのデータセットを導入する。 元の論文から回答を抽出するためにアノテーションを使用します。 また,ChatGPT-3.5,LLaMa,Galacticaを用いた実験では,これらのLMによる研究論文の理解に大きなギャップが認められた。
• 参考スコア（独自算出の注目度）: 4.167070553534516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) are no longer restricted to ML community, and instruction-tuned LMs have led to a rise in autonomous AI agents. As the accessibility of LMs grows, it is imperative that an understanding of their capabilities, intended usage, and development cycle also improves. Model cards are a popular practice for documenting detailed information about an ML model. To automate model card generation, we introduce a dataset of 500 question-answer pairs for 25 ML models that cover crucial aspects of the model, such as its training configurations, datasets, biases, architecture details, and training resources. We employ annotators to extract the answers from the original paper. Further, we explore the capabilities of LMs in generating model cards by answering questions. Our initial experiments with ChatGPT-3.5, LLaMa, and Galactica showcase a significant gap in the understanding of research papers by these aforementioned LMs as well as generating factual textual responses. We posit that our dataset can be used to train models to automate the generation of model cards from paper text and reduce human effort in the model card curation process. The complete dataset is available on https://osf.io/hqt7p/?view_only=3b9114e3904c4443bcd9f5c270158d37
• Abstract（参考訳）: 言語モデル(LM)はもはやMLコミュニティに限定されておらず、命令チューニングされたLMは自律AIエージェントの増加につながっている。 lmsのアクセシビリティが向上するにつれ、その能力、意図的な利用、開発サイクルの理解も向上することが不可欠である。 モデルカードは、MLモデルに関する詳細な情報を文書化する一般的なプラクティスである。 モデルカード生成を自動化するために,25mlモデルに対して500の質問応答ペアのデータセットを導入し,モデルのトレーニング構成,データセット,バイアス,アーキテクチャの詳細,トレーニングリソースなど,モデルの重要な側面をカバーする。 元の論文から回答を抽出するためにアノテーションを使用します。 さらに,質問に答えることで,モデルカード生成におけるLMの能力について検討する。 ChatGPT-3.5, LLaMa, Galacticaによる最初の実験では, これらのLMによる研究論文の理解と, 実際のテキスト応答の生成に大きなギャップが見られた。 我々のデータセットは、紙のテキストからモデルカードを自動生成し、モデルカードのキュレーションプロセスにおける人的労力を減らすためにモデルをトレーニングするのに利用できると仮定する。 完全なデータセットはhttps://osf.io/hqt7p/? view_only=3b9114e3904c4443bcd9f5c270158d37

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• "What is the value of {templates}?" Rethinking Document Information Extraction Datasets for LLMs [19.07429412219697]
  K2Qは、KIEからベスポークテンプレートを多用したプロンプト応答形式に変換された5つのデータセットの集合である。 K2Q上の7つのベースライン生成モデルの性能をゼロショットプロンプトと経験的に比較した。 多様な複雑なKIE質問を作成すれば,VRDUモデルの性能と堅牢性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-10-20T19:42:30Z)
• EvolveDirector: Approaching Advanced Text-to-Image Generation with Large Vision-Language Models [36.576853882830896]
  我々はEvolveDirectorを導入し、公開リソースを使用した高度なモデルに匹敵するテキスト・画像生成モデルをトレーニングする。 このフレームワークは、公開APIを通じて高度なモデルと対話して、ベースモデルをトレーニングするためのテキストイメージデータペアを取得する。 我々は,事前学習された大規模視覚言語モデル(VLM)を活用し,基礎モデルの進化を導く。
  論文  参考訳（メタデータ） (2024-10-09T17:52:28Z)
• Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Multimodal Models [146.18107944503436]
  Molmoは、オープンネスのクラスで最先端のVLMの新たなファミリーである。 私たちの重要なイノベーションは、人間のアノテーションから収集された、新しくて詳細な画像キャプションデータセットです。 近い将来、モデルウェイト、キャプション、微調整データ、ソースコードをすべてリリースする予定です。
  論文  参考訳（メタデータ） (2024-09-25T17:59:51Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  大規模言語モデル(LLM)の事前トレーニングは伝統的に、Webスケールデータセットからランダムにサンプリングされたデータブロックの自己回帰言語モデリングに依存している。 我々は、空間的反復のような人間の学習技術からインスピレーションを得て、LLMのランダムなデータサンプリングが、データを忘れがちな高いトレーニングコストと低品質モデルをもたらすという仮説を立てる。 ウェブスケール情報を長期記憶に効果的にコミットするために,LFR(Learn, Focus, and Review)ペタゴギーを提案する。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• ModelGPT: Unleashing LLM's Capabilities for Tailored Model Generation [35.160964210941955]
  本稿では,ユーザが提供するデータやタスク記述に適したAIモデルを決定・生成するフレームワークであるModelGPTを提案する。 ユーザの要求に応じて、ModelGPTは、以前のパラダイムよりも少なくとも270倍高速に、調整済みのモデルを提供することができる。
  論文  参考訳（メタデータ） (2024-02-18T11:24:34Z)
• What's documented in AI? Systematic Analysis of 32K AI Model Cards [40.170354637778345]
  我々は、Hugging Face上で32,111のAIモデルドキュメンテーションを包括的に分析する。 かなりダウンロードされたAIモデルのほとんどはモデルカードを提供するが、カードには不明確な情報がある。 その結果, 環境影響, 限界, 評価に対処する区間は, 最下位の充足率を示す一方, トレーニング区間は最下位の充足率を示すことがわかった。
  論文  参考訳（メタデータ） (2024-02-07T18:04:32Z)
• Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
  本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。 敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T18:47:03Z)
• GSAP-NER: A Novel Task, Corpus, and Baseline for Scholarly Entity Extraction Focused on Machine Learning Models and Datasets [3.9169112083667073]
  学術的な文章では、機械学習モデルとデータセットへの参照が基本的なコンポーネントである。 既存の真理データセットは、MLモデルやモデルアーキテクチャのようなきめ細かい型を別々のエンティティタイプとして扱わない。 MLモデルとデータセットを中心とした10のエンティティタイプを対象とした,100のコーパスを手動でアノテートしたフルテキストの科学出版物と,最初のベースラインモデルをリリースする。
  論文  参考訳（メタデータ） (2023-11-16T12:43:02Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [66.18478838828231]
  マルチモーダルな事前訓練型大型モデルは近年ますます注目を集めている。 本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来の深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・ 次に,マルチモーダル・プレトレーニング・モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワーク,知識強化による事前トレーニングに着目して,MM-PTMについて議論する。
  論文  参考訳（メタデータ） (2023-02-20T15:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。