論文の概要: Release of Pre-Trained Models for the Japanese Language

• arxiv url: http://arxiv.org/abs/2404.01657v1
• Date: Tue, 2 Apr 2024 05:59:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 17:48:15.843202
• Title: Release of Pre-Trained Models for the Japanese Language
• Title（参考訳）: 日本語のための事前学習モデルのリリース
• Authors: Kei Sawada, Tianyu Zhao, Makoto Shing, Kentaro Mitsui, Akio Kaga, Yukiya Hono, Toshiaki Wakatsuki, Koh Mitsuda,
• Abstract要約: 日本語で事前学習した生成前変換器(GPT)、コントラスト言語と画像前学習(CLIP)、安定度、HuBERTによる隠れユニット双方向表現(HuBERT)をリリースする。 ユーザーは、日本の文化的価値観と整合し、日本の文化のアイデンティティを保証するAIと自由に対話でき、それによってAIの民主化が促進される。
• 参考スコア（独自算出の注目度）: 12.265609907105166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI democratization aims to create a world in which the average person can utilize AI techniques. To achieve this goal, numerous research institutes have attempted to make their results accessible to the public. In particular, large pre-trained models trained on large-scale data have shown unprecedented potential, and their release has had a significant impact. However, most of the released models specialize in the English language, and thus, AI democratization in non-English-speaking communities is lagging significantly. To reduce this gap in AI access, we released Generative Pre-trained Transformer (GPT), Contrastive Language and Image Pre-training (CLIP), Stable Diffusion, and Hidden-unit Bidirectional Encoder Representations from Transformers (HuBERT) pre-trained in Japanese. By providing these models, users can freely interface with AI that aligns with Japanese cultural values and ensures the identity of Japanese culture, thus enhancing the democratization of AI. Additionally, experiments showed that pre-trained models specialized for Japanese can efficiently achieve high performance in Japanese tasks.
• Abstract（参考訳）: AIの民主化は、平均的な人がAI技術を利用できる世界を作ることを目的としている。 この目標を達成するために、多くの研究機関がその結果を一般に公開しようと試みている。 特に、大規模データでトレーニングされた大規模な事前トレーニングモデルには、前例のない可能性があり、そのリリースには大きな影響がある。 しかし、リリースされたモデルのほとんどは英語を専門としているため、非英語コミュニティにおけるAIの民主化は著しく遅れている。 このAIアクセスのギャップを軽減するため,日本語で事前学習した生成事前学習用トランスフォーマ(GPT),コントラスト言語と画像事前学習(CLIP),安定拡散,HuBERTによる隠れユニット双方向エンコーダ表現(HuBERT)をリリースした。 これらのモデルを提供することで、ユーザーは、日本の文化的価値観と整合し、日本の文化のアイデンティティを保証するAIと自由に対話でき、それによってAIの民主化が促進される。 さらに,日本語に特化した事前学習モデルにより,日本語タスクの高性能化が図られた。

関連論文リスト

• Reducing Barriers to the Use of Marginalised Music Genres in AI [7.140590440016289]
  このプロジェクトの目的は、AIモデルで疎外された音楽のジャンルを使用する際の障壁を減らすことに関連する、eXplainable AI(XAI)の課題と機会を探ることである。 特定されたXAIの機会には、AIモデルの透明性とコントロールの改善、AIモデルの倫理とバイアスの説明、バイアスを減らすために小さなデータセットで大規模モデルの微調整、AIモデルによるスタイル移行の機会の説明などが含まれる。 私たちは現在、グローバルなInternational Responsible AI Musicコミュニティをまとめて、私たちのネットワークへの参加を招待するために、このプロジェクトを構築しています。
  論文  参考訳（メタデータ） (2024-07-18T12:10:04Z)
• Distributed agency in second language learning and teaching through generative AI [0.0]
  ChatGPTは、テキストまたは音声形式のチャットを通じて非公式な第二言語プラクティスを提供することができる。 インストラクタはAIを使って、さまざまなメディアで学習と評価材料を構築することができる。
  論文  参考訳（メタデータ） (2024-03-29T14:55:40Z)
• Exploration with Principles for Diverse AI Supervision [88.61687950039662]
  次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。 この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。 この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。 本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-13T07:03:39Z)
• Reproducing Whisper-Style Training Using an Open-Source Toolkit and Publicly Available Data [75.7383558074758]
  本研究はWhisperスタイル音声モデル(OWSM)を提案する。 OWSMはオープンソースツールキットと公開データを使ってWhisperスタイルのトレーニングを再現する。 データ準備、トレーニング、推論、スコアリングに使用されるすべてのスクリプトと、オープンサイエンスを促進するための事前訓練されたモデルとトレーニングログを公開します。
  論文  参考訳（メタデータ） (2023-09-25T05:01:34Z)
• On the application of Large Language Models for language teaching and assessment technology [18.735612275207853]
  我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。 より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。 自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
  論文  参考訳（メタデータ） (2023-07-17T11:12:56Z)
• BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer [77.28871523946418]
  BatGPTは武漢大学と上海江東大学が共同で設計・訓練した大規模言語モデルである。 テキストプロンプト、画像、オーディオなど、さまざまなタイプの入力に応答して、非常に自然で、流動的なテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T15:10:01Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Grounded Decoding: Guiding Text Generation with Grounded Models for Embodied Agents [111.15288256221764]
  グラウンデッドデコーディングプロジェクトは、両方のモデルの知識を活用することで、ロボット環境で複雑な長期タスクを解決することを目的としている。 我々はこれを確率的フィルタリングに類似した問題として、言語モデルの下で高い確率を持つシーケンスをデコードし、基底モデル対象のセットで高い確率を示す。 本研究では,3つのシミュレーション領域と実世界の領域にまたがって,そのような基底モデルがどのように得られるのかを実証し,両モデルの知識を活用して,ロボット環境での複雑な長期的タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-03-01T22:58:50Z)
• Paraphrasing Techniques for Maritime QA system [39.45862109462649]
  我々は,人間の自然言語を機械で理解可能な言語に自動翻訳する機能を開発した。 多くの現実世界の防衛シナリオでは、このような大量の訓練データを取得することは不可能である。 本研究では,大規模学習データセットの自動生成にパラフレージング手法を利用する方法について検討する。
  論文  参考訳（メタデータ） (2022-03-21T10:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。