論文の概要: Generalization Measures for Zero-Shot Cross-Lingual Transfer
- arxiv url: http://arxiv.org/abs/2404.15928v1
- Date: Wed, 24 Apr 2024 15:38:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 18:51:25.118561
- Title: Generalization Measures for Zero-Shot Cross-Lingual Transfer
- Title(参考訳): ゼロショットクロスリンガル転送の一般化対策
- Authors: Saksham Bassi, Duygu Ataman, Kyunghyun Cho,
- Abstract要約: その知識を一般化するモデルの能力は、堅牢で信頼性の高い機械学習システムを構築するために不可欠である。
言語モデル評価タスクには、モデル一般化に関する情報指標が欠けている。
本稿では,一般化に相関するモデル最適化のシャープネスを確実かつ安定に計算するアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 40.35113593153817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A model's capacity to generalize its knowledge to interpret unseen inputs with different characteristics is crucial to build robust and reliable machine learning systems. Language model evaluation tasks lack information metrics about model generalization and their applicability in a new setting is measured using task and language-specific downstream performance, which is often lacking in many languages and tasks. In this paper, we explore a set of efficient and reliable measures that could aid in computing more information related to the generalization capability of language models in cross-lingual zero-shot settings. In addition to traditional measures such as variance in parameters after training and distance from initialization, we also measure the effectiveness of sharpness in loss landscape in capturing the success in cross-lingual transfer and propose a novel and stable algorithm to reliably compute the sharpness of a model optimum that correlates to generalization.
- Abstract(参考訳): モデルが未知の入力を異なる特徴で解釈する知識を一般化する能力は、堅牢で信頼性の高い機械学習システムを構築する上で不可欠である。
言語モデル評価タスクには、モデル一般化に関する情報メトリクスが欠如しており、新しい設定での適用性は、多くの言語やタスクでしばしば欠落しているタスクと言語固有の下流のパフォーマンスを用いて測定される。
本稿では,言語間ゼロショット設定における言語モデルの一般化能力に関する,より効率的な情報計算を支援するための,効率的かつ信頼性の高い尺度のセットについて検討する。
学習後のパラメータのばらつきや初期化からの距離といった従来の尺度に加えて、言語間移動の成功を捉えた損失景観のシャープネスの効果も測定し、一般化に相関するモデル最適化のシャープネスを確実に計算する新しい安定アルゴリズムを提案する。
関連論文リスト
- Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - LaMPP: Language Models as Probabilistic Priors for Perception and Action [38.07277869107474]
非言語的知覚と制御タスクに言語モデルを活用する方法を示す。
提案手法は,確率的グラフィカルモデルにおけるラベリングと意思決定を推論として用いている。
論文 参考訳(メタデータ) (2023-02-03T15:14:04Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - A Unified Neural Network Model for Readability Assessment with Feature
Projection and Length-Balanced Loss [17.213602354715956]
本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。
本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-10-19T05:33:27Z) - On the Usability of Transformers-based models for a French
Question-Answering task [2.44288434255221]
本稿では,大規模学習問題におけるトランスフォーマーに基づく言語モデルのユーザビリティに着目した。
本稿では,低リソース環境下での競合性を示すFrALBERTの新しいコンパクトモデルを提案する。
論文 参考訳(メタデータ) (2022-07-19T09:46:15Z) - Plex: Towards Reliability using Pretrained Large Model Extensions [69.13326436826227]
我々は,視覚と言語モダリティのための事前訓練された大規模モデル拡張であるViT-PlexとT5-Plexを開発した。
Plexは信頼性タスク間の最先端性を大幅に改善し、従来のプロトコルを単純化する。
最大1Bパラメータまでのモデルサイズに対するスケーリング効果と,最大4B例までのデータセットサイズを事前トレーニングした。
論文 参考訳(メタデータ) (2022-07-15T11:39:37Z) - A global analysis of metrics used for measuring performance in natural
language processing [9.433496814327086]
自然言語処理の性能測定に使用されるメトリクスの,最初の大規模断面積解析を行う。
結果から,現在使用されている自然言語処理メトリクスの大部分は,モデルの性能を不適切に反映する特性を持っていることが示唆された。
論文 参考訳(メタデータ) (2022-04-25T11:41:50Z) - Conditional Bilingual Mutual Information Based Adaptive Training for
Neural Machine Translation [66.23055784400475]
トークンレベルの適応トレーニングアプローチはトークンの不均衡問題を緩和することができる。
条件付きバイリンガル相互情報(CBMI)という目標コンテキスト対応メトリックを提案する。
CBMIは、事前の統計計算なしで、モデルトレーニング中に効率的に計算することができる。
論文 参考訳(メタデータ) (2022-03-06T12:34:10Z) - Evaluating natural language processing models with generalization
metrics that do not need access to any training or testing data [66.11139091362078]
本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。
ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
論文 参考訳(メタデータ) (2022-02-06T20:07:35Z) - Effective dimension of machine learning models [4.721845865189576]
新しいデータを含むタスクにおけるトレーニング済みモデルのパフォーマンスに関する声明を作ることが、機械学習の主要な目標のひとつだ。
様々な能力測定は、この能力を捉えようとするが、通常、我々が実際に観察するモデルの重要な特性を説明するのに不足する。
本稿では,標準データセットの一般化誤差と相関するキャパシティ尺度として,局所有効次元を提案する。
論文 参考訳(メタデータ) (2021-12-09T10:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。