Fugu-MT 論文翻訳(概要): Danish Foundation Models

論文の概要: Danish Foundation Models

arxiv url: http://arxiv.org/abs/2311.07264v1
Date: Mon, 13 Nov 2023 12:03:52 GMT
ステータス: 処理完了
システム内更新日: 2023-11-14 14:38:19.508006
Title: Danish Foundation Models
Title（参考訳）: デンマークの基礎モデル
Authors: Kenneth Enevoldsen, Lasse Hansen, Dan S. Nielsen, Rasmus A. F. Egeb{\ae}k, S{\o}ren V. Holm, Martin C. Nielsen, Martin Bernstorff, Rasmus Larsen, Peter B. J{\o}rgensen, Malte H{\o}jmark-Bertelsen, Peter B. Vahlstrup, Per M{\o}ldrup-Dalum, Kristoffer Nielbo
Abstract要約: デンマーク財団モデルプロジェクトは、デンマーク語のオープンで、文書化された、高品質な基礎モデルを提供し、維持することを目指している。これは、訓練されたモデルの高いデータ品質と適用性を保証するために、公的および民間機関と広範囲に協力することで達成される。
参考スコア（独自算出の注目度）: 1.6982528628480071
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large language models, sometimes referred to as foundation models, have transformed multiple fields of research. However, smaller languages risk falling behind due to high training costs and small incentives for large companies to train these models. To combat this, the Danish Foundation Models project seeks to provide and maintain open, well-documented, and high-quality foundation models for the Danish language. This is achieved through broad cooperation with public and private institutions, to ensure high data quality and applicability of the trained models. We present the motivation of the project, the current status, and future perspectives.
Abstract（参考訳）: 大きな言語モデルは、しばしば基礎モデルと呼ばれ、複数の研究分野に変化をもたらした。しかし、訓練コストが高く、大企業がこれらのモデルを訓練するインセンティブが小さいため、小さな言語が遅れるリスクがある。これに対抗するため、デンマーク財団モデルプロジェクトは、デンマーク語のオープンで文書化された高品質な基礎モデルを提供し、維持することを目指している。これは、訓練されたモデルの高いデータ品質と適用性を保証するために、公的および民間機関との広範な協力を通じて達成される。我々は,プロジェクトのモチベーション,現状,今後の展望について述べる。

関連論文リスト

InkubaLM: A small language model for low-resource African languages [9.426968756845389]
InkubaLMは0.4億のパラメータを持つ小さな言語モデルである。パラメータ数が大幅に大きいモデルに匹敵するパフォーマンスを実現する。複数の言語にまたがる顕著な一貫性を示す。
論文参考訳（メタデータ） (2024-08-30T05:42:31Z)
What matters when building vision-language models? [52.8539131958858]
我々は、80億のパラメータを持つ効率的な基礎的視覚言語モデルであるIdefics2を開発した。 Idefics2は、様々なマルチモーダルベンチマークで、そのサイズカテゴリ内で最先端のパフォーマンスを達成する。トレーニング用に作成されたデータセットとともに、モデル(ベース、指示、チャット)をリリースします。
論文参考訳（メタデータ） (2024-05-03T17:00:00Z)
OLMo: Accelerating the Science of Language Models [165.16277690540363]
言語モデル(LM)は、NLP研究と商用製品製品の両方で広く普及している。商業的重要性が増すにつれ、最も強力なモデルは閉鎖され、プロプライエタリなインターフェースに遅れを取っている。我々は、研究コミュニティが強力で真にオープンなLMにアクセスできることが不可欠であると信じている。私たちは、言語モデルの科学的研究を可能にするために、競争力のある真にオープンな言語モデルであるOLMoを構築しました。
論文参考訳（メタデータ） (2024-02-01T18:28:55Z)
Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文参考訳（メタデータ） (2023-10-23T03:48:24Z)
Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
論文参考訳（メタデータ） (2023-07-16T00:45:42Z)
Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文参考訳（メタデータ） (2023-03-13T16:00:31Z)
Foundation models in brief: A historical, socio-technical focus [2.5991265608180396]
ディープラーニングをスケールアップすることで、将来のAI開発には、ファンデーションモデルが破壊的になる可能性がある。モデルは自然言語処理やコンピュータビジョンといった分野における様々なタスクにおいて最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-12-17T22:11:33Z)
Lessons learned from the evaluation of Spanish Language Models [27.653133576469276]
本稿では,スペイン語の言語モデルと,以下の結果との比較を行う。我々は、その根底にある要因を理解するために、さらなる研究の必要性を論じる。スペイン語のための言語技術開発における最近の活動は歓迎されるが、我々の結果は、言語モデルの構築は依然としてオープンでリソースの多い問題であることを示している。
論文参考訳（メタデータ） (2022-12-16T10:33:38Z)
Training dataset and dictionary sizes matter in BERT models: the case of Baltic languages [0.0]
我々はリトアニア語、ラトビア語、英語の3言語モデルLitLat BERTとエストニア語の単言語モデルEst-RoBERTaを訓練する。提案手法は,エンティティ認識,依存性解析,パート・オブ・音声タグ付け,単語類似処理の4つのダウンストリームタスクにおいて,その性能を評価する。
論文参考訳（メタデータ） (2021-12-20T14:26:40Z)
On the Opportunities and Risks of Foundation Models [256.61956234436553]
これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。本報告では,基礎モデルの可能性とリスクについて概説する。これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
論文参考訳（メタデータ） (2021-08-16T17:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。