論文の概要: Unleashing the Multilingual Encoder Potential: Boosting Zero-Shot
Performance via Probability Calibration
- arxiv url: http://arxiv.org/abs/2310.05069v2
- Date: Thu, 19 Oct 2023 15:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 18:58:58.255187
- Title: Unleashing the Multilingual Encoder Potential: Boosting Zero-Shot
Performance via Probability Calibration
- Title（参考訳）: 多言語エンコーダポテンシャルを解き放つ:確率校正によるゼロショット性能の向上
- Authors: Ercong Nie, Helmut Schmid, Hinrich Sch\"utze
- Abstract要約: 事前訓練された多言語エンコーダモデルは、入力例をクローゼスタイルのプロンプトに変換することで、ゼロショット多言語タスクや言語探索を直接実行することができる。
この方法は,事前学習中に頻繁に発生するラベル単語の予測に対するモデルのバイアスによって制限される。
モデルによって予測されるラベル語の確率を変化させるキャリブレーション手法と組み合わせる。
- 参考スコア（独自算出の注目度）: 12.424785560515094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained multilingual encoder models can directly perform zero-shot
multilingual tasks or linguistic probing by reformulating the input examples
into cloze-style prompts. This is accomplished by predicting the probabilities
of the label words at the masked token position, without requiring any updates
to the model parameters. However, the performance of this method is limited by
the model's bias toward predicting label words which frequently occurred during
the pretraining. These words typically receive high probabilities. To address
this issue, we combine the models with calibration techniques which modify the
probabilities of label words predicted by the models. We first validate the
effectiveness of a proposed simple calibration method together with other
existing techniques on monolingual encoders in both zero- and few-shot
scenarios. We subsequently employ these calibration techniques on multilingual
encoders, resulting in substantial performance improvements across a wide range
of tasks.
- Abstract（参考訳）: 事前訓練された多言語エンコーダモデルは、入力例をクローゼスタイルのプロンプトに変換することで、ゼロショット多言語タスクや言語探索を直接実行することができる。
これは、モデルパラメータの更新を必要とせず、マスクされたトークン位置でラベル語の確率を予測することで達成される。
しかし,本手法の性能は,事前学習中に頻繁に発生するラベル単語の予測に対するモデルのバイアスによって制限される。
これらの単語は一般的に高い確率を受ける。
この問題に対処するため、モデルによって予測されるラベル語の確率を変化させるキャリブレーション手法とモデルを組み合わせる。
まず,提案手法の有効性を,ゼロショットと少数ショットの両シナリオにおいて,既存のモノリンガルエンコーダの手法とともに検証した。
その後,このキャリブレーション手法を多言語エンコーダに適用し,様々なタスクで性能が大幅に向上した。
関連論文リスト
- Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。
階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
論文 参考訳（メタデータ） (2024-10-23T11:06:36Z) - Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。
我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
論文 参考訳（メタデータ） (2024-09-23T07:55:35Z) - IDoFew: Intermediate Training Using Dual-Clustering in Language Models
for Few Labels Text Classification [24.11420537250414]
変換器からの双方向表現(BERT)は、自然言語処理(NLP)やテキスト分類を含むテキストマイニングタスクにおいて非常に効果的である。
いくつかのタスクは、制限付きラベル付きテキスト分類など、これらのモデルに依然として課題を生じさせる。
擬似ラベルを確実にモデル化する2段階の中間クラスタリングを開発した。
論文 参考訳（メタデータ） (2024-01-08T17:07:37Z) - On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based
Multilingual Model [49.81429697921861]
多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。
高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
論文 参考訳（メタデータ） (2023-11-14T00:43:33Z) - Unsupervised Calibration through Prior Adaptation for Text
Classification using Large Language Models [37.39843935632105]
ラベル付きサンプルを必要とせずにテキスト分類タスクを実行するために,先行クラス分布に適応する手法を提案する。
その結果,これらの手法は,プロンプト内の訓練ショット数が異なる場合,適応しないモデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-07-13T12:11:36Z) - Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models [48.77653835765705]
そこでは,まず下位分布から潜在ベクトルをサンプリングし,次に軽量な生成モデルを用いてラベル固有のプロンプトを階層的に生成する。
提案手法の有効性は,少数ショット画像認識,ベース・ツー・ニュージェネリゼーション,データセット転送学習,ドメインシフトの4つのタスクで評価する。
論文 参考訳（メタデータ） (2023-03-16T06:09:15Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳（メタデータ） (2022-10-13T15:47:09Z) - Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
整合性正規化による言語間微調整の改善を提案する。
具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。
XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
論文 参考訳（メタデータ） (2021-06-15T15:35:44Z) - Are Some Words Worth More than Others? [3.5598388686985354]
簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。
提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
論文 参考訳（メタデータ） (2020-10-12T23:12:11Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。