論文の概要: The Responsible Foundation Model Development Cheatsheet: A Review of Tools & Resources
- arxiv url: http://arxiv.org/abs/2406.16746v3
- Date: Tue, 3 Sep 2024 23:03:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 02:22:00.833686
- Title: The Responsible Foundation Model Development Cheatsheet: A Review of Tools & Resources
- Title（参考訳）: Responsible Foundation Model Development Cheatsheet: ツールとリソースのレビュー
- Authors: Shayne Longpre, Stella Biderman, Alon Albalak, Hailey Schoelkopf, Daniel McDuff, Sayash Kapoor, Kevin Klyman, Kyle Lo, Gabriel Ilharco, Nay San, Maribeth Rauh, Aviya Skowron, Bertie Vidgen, Laura Weidinger, Arvind Narayanan, Victor Sanh, David Adelani, Percy Liang, Rishi Bommasani, Peter Henderson, Sasha Luccioni, Yacine Jernite, Luca Soldaini,
- Abstract要約: ファンデーションモデル開発は、急速に成長するコントリビュータ、科学者、アプリケーションを引き付けている。
責任ある開発プラクティスを形成するために、我々はFoundation Model Development Cheatsheetを紹介します。
- 参考スコア（独自算出の注目度）: 100.23208165760114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation model development attracts a rapidly expanding body of contributors, scientists, and applications. To help shape responsible development practices, we introduce the Foundation Model Development Cheatsheet: a growing collection of 250+ tools and resources spanning text, vision, and speech modalities. We draw on a large body of prior work to survey resources (e.g. software, documentation, frameworks, guides, and practical tools) that support informed data selection, processing, and understanding, precise and limitation-aware artifact documentation, efficient model training, advance awareness of the environmental impact from training, careful model evaluation of capabilities, risks, and claims, as well as responsible model release, licensing and deployment practices. We hope this curated collection of resources helps guide more responsible development. The process of curating this list, enabled us to review the AI development ecosystem, revealing what tools are critically missing, misused, or over-used in existing practices. We find that (i) tools for data sourcing, model evaluation, and monitoring are critically under-serving ethical and real-world needs, (ii) evaluations for model safety, capabilities, and environmental impact all lack reproducibility and transparency, (iii) text and particularly English-centric analyses continue to dominate over multilingual and multi-modal analyses, and (iv) evaluation of systems, rather than just models, is needed so that capabilities and impact are assessed in context.
- Abstract（参考訳）: ファンデーションモデル開発は、急速に成長するコントリビュータ、科学者、アプリケーションを引き付けている。
私たちは、責任ある開発プラクティスを形作るのに役立つために、Foundation Model Development Cheatsheetを紹介します。
私たちは、インフォームドデータの選択、処理、理解、正確で制限対応のアーティファクトドキュメント、効率的なモデルトレーニング、トレーニングからの環境影響の認識の促進、能力、リスク、クレームの慎重なモデル評価、責任あるモデルリリース、ライセンス、デプロイメントプラクティスをサポートするリソース(ソフトウェア、ドキュメント、フレームワーク、ガイド、実用的なツールなど)を調査するための、多くの事前作業に取り組んでいます。
このキュレートされたリソースの収集が、より責任ある開発を導くのに役立つことを願っています。
このリストをキュレートするプロセスにより、AI開発エコシステムをレビューし、既存のプラクティスに欠落しているツール、誤用、あるいは過剰使用されているツールを明らかにしました。
私たちはそれを見つける。
(i)データソーシング、モデル評価、モニタリングのためのツールは、倫理的・現実的なニーズに過小評価されている。
(二)モデル安全性、能力、環境影響の評価には再現性と透明性が欠如している。
三 テキスト、特に英語を中心とした分析が多言語・多モーダル分析に支配され続けていること。
(4)単にモデルではなくシステムの評価が必要であり、その能力と影響が文脈で評価される。
関連論文リスト
- Deploying Large Language Models With Retrieval Augmented Generation [0.21485350418225244]
Retrieval Augmented Generationは、大規模言語モデルのトレーニングセット外のデータソースからの知識を統合するための重要なアプローチとして登場した。
本稿では,LLMとRAGを統合して情報検索を行うパイロットプロジェクトの開発とフィールドテストから得られた知見について述べる。
論文 参考訳（メタデータ） (2024-11-07T22:11:51Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳（メタデータ） (2024-09-27T06:31:03Z) - Reasoning and Tools for Human-Level Forecasting [0.4261908132550109]
本稿では,Reasoning and Tools for Forecasting (RTF)について紹介する。
我々は,競争予測プラットフォームからの質問でモデルを評価し,本手法が人間の予測に勝るものであることを実証した。
論文 参考訳（メタデータ） (2024-08-21T23:42:06Z) - A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges [60.546677053091685]
大規模言語モデル(LLM)は金融分野における機械学習アプリケーションに新たな機会を開放した。
我々は、従来のプラクティスを変革し、イノベーションを促進する可能性に焦点を当て、様々な金融業務におけるLLMの適用について検討する。
本稿では,既存の文献を言語タスク,感情分析,財務時系列,財務推論,エージェントベースモデリング,その他の応用分野に分類するための調査を紹介する。
論文 参考訳（メタデータ） (2024-06-15T16:11:35Z) - From Pixels to Insights: A Survey on Automatic Chart Understanding in the Era of Large Foundation Models [98.41645229835493]
グラフ形式のデータの可視化は、データ分析において重要な役割を担い、重要な洞察を提供し、情報的な意思決定を支援する。
大規模言語モデルのような大規模な基盤モデルは、様々な自然言語処理タスクに革命をもたらした。
本研究は,自然言語処理,コンピュータビジョン,データ解析の分野における研究者や実践者の包括的資源として機能する。
論文 参考訳（メタデータ） (2024-03-18T17:57:09Z) - Training and Serving System of Foundation Models: A Comprehensive Survey [32.0115390377174]
本稿では,様々な観点から基礎モデルを訓練・提供するための手法を幅広く検討する。
ネットワーク、コンピューティング、ストレージといったより詳細な側面を含む、最先端の手法の詳細な分類を提供する。
論文 参考訳（メタデータ） (2024-01-05T05:27:15Z) - INSTRUCTEVAL: Towards Holistic Evaluation of Instruction-Tuned Large
Language Models [39.46610170563634]
INSTRUCTEVALは、命令調整された大規模言語モデルのために特別に設計された、より包括的な評価スイートである。
我々は,事前学習の基礎,指導指導データ,訓練方法など,モデル性能に影響を与える諸要因を総合的に分析する。
その結果, モデル性能のスケーリングにおいて, 命令データの品質が最も重要な要因であることが判明した。
論文 参考訳（メタデータ） (2023-06-07T20:12:29Z) - Tool Learning with Foundation Models [158.8640687353623]
基礎モデルの出現により、AIシステムは、人間としてのツールの使用に等しく適応できる可能性がある。
その大きな可能性にもかかわらず、この分野における重要な課題、機会、そして将来の取り組みに関する包括的な理解はいまだに欠けている。
論文 参考訳（メタデータ） (2023-04-17T15:16:10Z) - On the Opportunities and Risks of Foundation Models [256.61956234436553]
これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。
本報告では,基礎モデルの可能性とリスクについて概説する。
これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
論文 参考訳（メタデータ） (2021-08-16T17:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。