論文の概要: Generalization Measures for Zero-Shot Cross-Lingual Transfer

• arxiv url: http://arxiv.org/abs/2404.15928v2
• Date: Sun, 8 Sep 2024 00:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 02:42:12.680197
• Title: Generalization Measures for Zero-Shot Cross-Lingual Transfer
• Title（参考訳）: ゼロショットクロスリンガル転送の一般化対策
• Authors: Saksham Bassi, Duygu Ataman, Kyunghyun Cho,
• Abstract要約: その知識を一般化するモデルの能力は、堅牢で信頼性の高い機械学習システムを構築するために不可欠である。 言語モデル評価タスクには、モデル一般化に関する情報指標が欠けている。 本稿では,一般化に相関するモデル最適化のシャープネスを確実かつ安定に計算するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 40.35113593153817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A model's capacity to generalize its knowledge to interpret unseen inputs with different characteristics is crucial to build robust and reliable machine learning systems. Language model evaluation tasks lack information metrics about model generalization and their applicability in a new setting is measured using task and language-specific downstream performance, which is often lacking in many languages and tasks. In this paper, we explore a set of efficient and reliable measures that could aid in computing more information related to the generalization capability of language models in cross-lingual zero-shot settings. In addition to traditional measures such as variance in parameters after training and distance from initialization, we also measure the effectiveness of sharpness in loss landscape in capturing the success in cross-lingual transfer and propose a novel and stable algorithm to reliably compute the sharpness of a model optimum that correlates to generalization.
• Abstract（参考訳）: モデルが未知の入力を異なる特徴で解釈する知識を一般化する能力は、堅牢で信頼性の高い機械学習システムを構築する上で不可欠である。 言語モデル評価タスクには、モデル一般化に関する情報メトリクスが欠如しており、新しい設定での適用性は、多くの言語やタスクでしばしば欠落しているタスクと言語固有の下流のパフォーマンスを用いて測定される。 本稿では,言語間ゼロショット設定における言語モデルの一般化能力に関する,より効率的な情報計算を支援するための,効率的かつ信頼性の高い尺度のセットについて検討する。 学習後のパラメータのばらつきや初期化からの距離といった従来の尺度に加えて、言語間移動の成功を捉えた損失景観のシャープネスの効果も測定し、一般化に相関するモデル最適化のシャープネスを確実に計算する新しい安定アルゴリズムを提案する。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト・イズ・キー (Context is Key) (CiK) は、時系列予測ベンチマークであり、様々な種類のテキストコンテキストと数値データをペアリングする。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 実験では、文脈情報の導入の重要性を強調し、LLMに基づく予測モデルを用いた場合の驚くべき性能を示すとともに、それらの重要な欠点を明らかにした。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Enhancing Traffic Incident Management with Large Language Models: A Hybrid Machine Learning Approach for Severity Classification [3.674863913115431]
  本研究は,交通事故管理のための機械学習への大規模言語モデルの革新的な統合を実証する。 インシデントレポートから抽出した従来のデータと並行して,現代の言語モデルが生成する特徴を活用することで,重度分類の精度の向上を実証する。
  論文  参考訳（メタデータ） (2024-03-20T12:33:51Z)
• LaMPP: Language Models as Probabilistic Priors for Perception and Action [38.07277869107474]
  非言語的知覚と制御タスクに言語モデルを活用する方法を示す。 提案手法は,確率的グラフィカルモデルにおけるラベリングと意思決定を推論として用いている。
  論文  参考訳（メタデータ） (2023-02-03T15:14:04Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss [17.213602354715956]
  本稿では,可読性評価のための特徴投影と長さバランス損失を考慮したBERTモデルを提案する。 本モデルは,2つの英語ベンチマークデータセットと1つの中国語教科書データセットを用いて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-19T05:33:27Z)
• A global analysis of metrics used for measuring performance in natural language processing [9.433496814327086]
  自然言語処理の性能測定に使用されるメトリクスの,最初の大規模断面積解析を行う。 結果から,現在使用されている自然言語処理メトリクスの大部分は,モデルの性能を不適切に反映する特性を持っていることが示唆された。
  論文  参考訳（メタデータ） (2022-04-25T11:41:50Z)
• Conditional Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation [66.23055784400475]
  トークンレベルの適応トレーニングアプローチはトークンの不均衡問題を緩和することができる。 条件付きバイリンガル相互情報(CBMI)という目標コンテキスト対応メトリックを提案する。 CBMIは、事前の統計計算なしで、モデルトレーニング中に効率的に計算することができる。
  論文  参考訳（メタデータ） (2022-03-06T12:34:10Z)
• Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data [66.11139091362078]
  本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。 ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
  論文  参考訳（メタデータ） (2022-02-06T20:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。