論文の概要: BigScience: A Case Study in the Social Construction of a Multilingual
Large Language Model
- arxiv url: http://arxiv.org/abs/2212.04960v1
- Date: Fri, 9 Dec 2022 16:15:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 12:55:06.130777
- Title: BigScience: A Case Study in the Social Construction of a Multilingual
Large Language Model
- Title(参考訳): BigScience:多言語大言語モデルの社会構築における事例研究
- Authors: Christopher Akiki and Giada Pistilli and Margot Mieskes and Matthias
Gall\'e and Thomas Wolf and Suzana Ili\'c and Yacine Jernite
- Abstract要約: BigScience Workshopは、学際研究の1年半にわたる価値駆動型イニシアチブだった。
本稿では,BigScienceの協調研究に焦点をあて,大規模参加研究の課題を振り返る。
- 参考スコア(独自算出の注目度): 11.366450629112459
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The BigScience Workshop was a value-driven initiative that spanned one and
half years of interdisciplinary research and culminated in the creation of
ROOTS, a 1.6TB multilingual dataset that was used to train BLOOM, one of the
largest multilingual language models to date. In addition to the technical
outcomes and artifacts, the workshop fostered multidisciplinary collaborations
around large models, datasets, and their analysis. This in turn led to a wide
range of research publications spanning topics from ethics to law, data
governance, modeling choices and distributed training. This paper focuses on
the collaborative research aspects of BigScience and takes a step back to look
at the challenges of large-scale participatory research, with respect to
participant diversity and the tasks required to successfully carry out such a
project. Our main goal is to share the lessons we learned from this experience,
what we could have done better and what we did well. We show how the impact of
such a social approach to scientific research goes well beyond the technical
artifacts that were the basis of its inception.
- Abstract(参考訳): BigScience Workshopは、1年半にわたる学際的な研究を経て、これまでで最大の多言語モデルの1つであるBLOOMのトレーニングに使用された1.6TBのマルチリンガルデータセットであるROTSを開発した。
技術的な成果やアーティファクトに加えて、大規模なモデルやデータセット、分析に関する複数の分野のコラボレーションが促進された。
この結果、倫理から法律、データガバナンス、モデリングの選択、分散トレーニングまで幅広い研究論文が出版された。
本稿では,bigscienceの共同研究の側面に注目し,大規模参加型研究の課題を振り返って,参加者の多様性とプロジェクト成功に必要な課題について考察する。
私たちの主な目標は、この経験から学んだ教訓、よりよいことをできたこと、うまくやったことを共有することです。
このような社会的アプローチが科学的研究に与える影響が、その発端となった技術的成果に大きく及んでいることを示す。
関連論文リスト
- Efficient Large Language Models: A Survey [46.61952262803192]
大規模言語モデル(LLM)は、自然言語理解、言語生成、複雑な推論といった重要なタスクにおいて顕著な能力を示している。
これらの能力には、彼らが要求する膨大なリソースが伴い、効率の課題に対処する効果的なテクニックを開発することの強いニーズが浮かび上がっています。
文献を3つの主要なカテゴリからなる分類学で整理し、異なるが相互に相互に繋がる効率的なLLMのトピックを網羅する。
論文 参考訳(メタデータ) (2023-12-06T19:18:42Z) - UniDoc: A Universal Large Multimodal Model for Simultaneous Text
Detection, Recognition, Spotting and Understanding [93.92313947913831]
テキスト検出と認識機能を備えた新しいマルチモーダルモデルUniDocを紹介する。
我々の知る限りでは、これはテキストの検出、認識、スポッティング、理解を同時に行うことができる最初の大規模マルチモーダルモデルである。
論文 参考訳(メタデータ) (2023-08-19T17:32:34Z) - A Comprehensive Overview of Large Language Models [70.78732351626734]
大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。
本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
論文 参考訳(メタデータ) (2023-07-12T20:01:52Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - Algorithmic Ghost in the Research Shell: Large Language Models and
Academic Knowledge Creation in Management Research [0.0]
本稿では,学術知識創造における大規模言語モデルの役割について考察する。
これには、書き込み、編集、レビュー、データセットの作成、キュレーションが含まれる。
論文 参考訳(メタデータ) (2023-03-10T14:25:29Z) - The BigScience ROOTS Corpus: A 1.6TB Composite Multilingual Dataset [36.98035382552118]
BigScienceワークショップは、大きな言語モデルを価値駆動の業務として研究し、訓練することを目的として設立された。
本稿では,BigScienceがROOTSコーパス(Responsible Open-science Open-Collaboration Text Sources)を組み立てるために行ったデータ作成とキュレーションの取り組みについて述べる。
論文 参考訳(メタデータ) (2023-03-07T14:25:44Z) - Survey on Self-Supervised Multimodal Representation Learning and
Foundation Models [0.0]
本稿では,現代における多目的自己指導型表現学習の基盤構築に直接的あるいは間接的に責任を負うランドマーク研究論文のいくつかを要約する。
この論文は、過去数年間における各モダリティの表現学習の発展と、その後のマルチモーダルエージェントの獲得にどのように組み合わされたかについて述べる。
論文 参考訳(メタデータ) (2022-11-29T00:17:43Z) - Industry-Academia Research Collaboration in Software Engineering: The
Certus Model [13.021014899410684]
ソフトウェアエンジニアリングでスケーラブルで効果的な研究コラボレーションを構築することは、非常に難しいことで知られています。
本稿では,参加型知識創造の文化を実現するための,産学連携の成功要因を理解することを目的とする。
論文 参考訳(メタデータ) (2022-04-23T10:16:23Z) - Crossing the Conversational Chasm: A Primer on Multilingual
Task-Oriented Dialogue Systems [51.328224222640614]
大規模な学習済みニューラルネットワークモデルに基づく最新のTODモデルは、データ空腹です。
ToDのユースケースのデータ取得は高価で面倒だ。
論文 参考訳(メタデータ) (2021-04-17T15:19:56Z) - Explaining Relationships Between Scientific Documents [55.23390424044378]
本稿では,2つの学術文書間の関係を自然言語テキストを用いて記述する課題に対処する。
本稿では154K文書から622Kサンプルのデータセットを作成する。
論文 参考訳(メタデータ) (2020-02-02T03:54:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。