Fugu-MT 論文翻訳(概要): RuCLIP -- new models and experiments: a technical report

論文の概要: RuCLIP -- new models and experiments: a technical report

arxiv url: http://arxiv.org/abs/2202.10784v1
Date: Tue, 22 Feb 2022 10:15:13 GMT
ステータス: 処理完了
システム内更新日: 2022-02-23 22:46:40.427643
Title: RuCLIP -- new models and experiments: a technical report
Title（参考訳）: RuCLIP -- 新しいモデルと実験:技術報告
Authors: Alex Shonenkov, Andrey Kuznetsov, Denis Dimitrov, Tatyana Shavrina, Daniil Chesakov, Anastasia Maltseva, Alena Fenogenova, Igor Pavlov, Anton Emelyanov, Sergey Markov, Daria Bakshandaeva, Vera Shybaeva, Andrey Chertok
Abstract要約: 240万ペアでトレーニングしたruCLIPモデルの6つの新しい実装を提案する。精度は、元のCLIPモデルと異なるドメインの16データセット上のRu-En翻訳(OPUS-MT)と比較される。
参考スコア（独自算出の注目度）: 7.001560461431023
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the report we propose six new implementations of ruCLIP model trained on our 240M pairs. The accuracy results are compared with original CLIP model with Ru-En translation (OPUS-MT) on 16 datasets from different domains. Our best implementations outperform CLIP + OPUS-MT solution on most of the datasets in few-show and zero-shot tasks. In the report we briefly describe the implementations and concentrate on the conducted experiments. Inference execution time comparison is also presented in the report.
Abstract（参考訳）: 本報告では,2億4000万対をトレーニングしたruCLIPモデルの6つの新しい実装を提案する。精度は、元のCLIPモデルと異なるドメインの16データセット上のRu-En翻訳(OPUS-MT)と比較される。私たちのベスト実装は、ほとんどすべてのデータセットでCLIP + OPUS-MTソリューションより優れています。本報告では,実装を簡潔に記述し,実施実験に集中する。推測の実行時間の比較もレポートに示されている。

関連論文リスト

Rephrasing natural text data with different languages and quality levels for Large Language Model pre-training [12.29061850090405]
既存の結果をC4で複製し、最適化されたリフレーズパイプラインで拡張することで、以前の作業の上に構築します。私たちのパイプラインは、単言語と多言語の両方のセットアップにおける標準評価ベンチマークのパフォーマンス向上につながります。
論文参考訳（メタデータ） (2024-10-28T07:30:05Z)
MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
論文参考訳（メタデータ） (2024-04-09T15:36:50Z)
Dynamic Demonstrations Controller for In-Context Learning [51.3439660534631]
In-Context Learning(ICL)は、自然言語処理(NLP)のための新しいパラダイムであり、大規模な言語モデルが少数の実演とテストインスタンスを入力として観察する。これまでの研究では、ICLはデモの選択と順序に敏感であることが判明している。デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
論文参考訳（メタデータ） (2023-09-30T14:04:22Z)
DataComp: In search of the next generation of multimodal datasets [179.79323076587255]
DataCompは、Common Crawlの128億の画像テキストペアの候補プールを中心にしたデータセット実験用のテストベッドである。我々のベンチマークは、複数の計算スケールから成っている。特に、最良のベースラインであるDataComp-1Bは、ImageNetでCLIP ViT-L/14をスクラッチから79.2%のゼロショット精度でトレーニングすることが可能です。
論文参考訳（メタデータ） (2023-04-27T11:37:18Z)
Alibaba-Translate China's Submission for WMT 2022 Metrics Shared Task [61.34108034582074]
私たちはUNITE(Unified Translation Evaluation)のコアアイデアに基づいてシステムを構築します。モデル事前学習の段階では、まず擬似ラベル付きデータ例をUNITEの継続事前訓練に適用する。微調整の段階では、過去のWMTコンペティションの直接評価(DA)と多次元品質メトリクス(MQM)のデータの両方を使用します。
論文参考訳（メタデータ） (2022-10-18T08:51:25Z)
RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
論文参考訳（メタデータ） (2022-04-28T08:49:40Z)
Label Verbalization and Entailment for Effective Zero- and Few-Shot Relation Extraction [25.151235270747804]
本研究は,関係抽出を包括的タスクとして再構成し,関係を15分未満で生成した関係の単純で手作りの言語化を行う。このシステムは、事前訓練されたテキストエンターメントエンジンに依存しており、as-is(訓練例、ゼロショットなし)またはラベル付き例(数発のショットまたは完全に訓練された)でさらに微調整される。 TACREDの実験では、63%のF1ゼロショット、69%は関係16例(17%は同一条件における最良監督システムより優れている)、そして4ポイントは現状より短い。
論文参考訳（メタデータ） (2021-09-08T14:04:50Z)
RIFLE: Imputation and Robust Inference from Low Order Marginals [10.082738539201804]
我々は,不備なデータの存在下での回帰と分類のための統計的推論フレームワークを開発する。我々のフレームワークであるRIFLEは、基礎となるデータ分布の低次モーメントを対応する信頼区間で推定し、分布的に堅牢なモデルを学ぶ。実験の結果,RIFLEは,欠落値の割合が高い場合や,データポイント数が比較的小さい場合には,他のベンチマークアルゴリズムよりも優れていることがわかった。
論文参考訳（メタデータ） (2021-09-01T23:17:30Z)
MDMMT: Multidomain Multimodal Transformer for Video Retrieval [63.872634680339644]
MSRVTTおよびLSMDCベンチマークのテキストからビデオ検索タスクに新しい最新技術を紹介します。異なるデータセットでのトレーニングは、互いにテスト結果を改善することができることを示す。
論文参考訳（メタデータ） (2021-03-19T09:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。