論文の概要: SOI Matters: Analyzing Multi-Setting Training Dynamics in Pretrained Language Models via Subsets of Interest

• arxiv url: http://arxiv.org/abs/2507.15236v1
• Date: Mon, 21 Jul 2025 04:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.256007
• Title: SOI Matters: Analyzing Multi-Setting Training Dynamics in Pretrained Language Models via Subsets of Interest
• Title（参考訳）: SOIの課題:関心のサブセットによる事前学習言語モデルにおけるマルチセッティングトレーニングダイナミクスの分析
• Authors: Shayan Vassef, Amirhossein Dabiriaghdam, Mohammadreza Bakhtiari, Yadollah Yaghoobzadeh,
• Abstract要約: 本研究では,マルチタスク,マルチ言語,マルチソースの学習アプローチが,事前学習した言語モデルの堅牢性と性能に与える影響について検討する。 興味のサブセット(SOI)は、忘れられない例、未学習例、常に正しい例を含む、トレーニング中の6つの異なる学習行動パターンを特定する。 その結果,マルチタスク学習は相似したタスクの組み合わせにおいて,相似した結果と相似した結果を示す一方,マルチタスク学習は分配性能を最大7%向上させることがわかった。
• 参考スコア（独自算出の注目度）: 5.882817862856554
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This work investigates the impact of multi-task, multi-lingual, and multi-source learning approaches on the robustness and performance of pretrained language models. To enhance this analysis, we introduce Subsets of Interest (SOI), a novel categorization framework that identifies six distinct learning behavior patterns during training, including forgettable examples, unlearned examples, and always correct examples. Through SOI transition heatmaps and dataset cartography visualization, we analyze how examples shift between these categories when transitioning from single-setting to multi-setting configurations. We perform comprehensive experiments across three parallel comparisons: multi-task vs. single-task learning using English tasks (entailment, paraphrase, sentiment), multi-source vs. single-source learning using sentiment analysis datasets, and multi-lingual vs. single-lingual learning using intent classification in French, English, and Persian. Our results demonstrate that multi-source learning consistently improves out-of-distribution performance by up to 7%, while multi-task learning shows mixed results with notable gains in similar task combinations. We further introduce a two-stage fine-tuning approach where the second stage leverages SOI-based subset selection to achieve additional performance improvements. These findings provide new insights into training dynamics and offer practical approaches for optimizing multi-setting language model performance.
• Abstract（参考訳）: 本研究では,マルチタスク,マルチ言語,マルチソースの学習アプローチが,事前学習した言語モデルの堅牢性と性能に与える影響について検討する。 この分析を強化するために、我々は、学習中の6つの異なる学習行動パターンを識別する新しい分類フレームワーク、Subsets of Interest (SOI)を紹介した。 SOIトランジション・ヒートマップとデータセット・カートグラフィー・ビジュアライゼーションを通じて、単一設定から複数設定へ移行する際に、これらのカテゴリ間の例がどのように変化するかを分析する。 本研究では,英語タスクを用いたマルチタスク対シングルタスク学習,感情分析データセットを用いたマルチソース対シングルソース学習,フランス語,英語,ペルシア語の意図分類を用いた複数言語対シングル言語学習の3つの並列比較実験を行った。 その結果,マルチタスク学習は相似なタスクの組み合わせにおいて,相似した結果と相似した結果を示す一方,マルチタスク学習は分配性能を最大7%向上させることがわかった。 さらに,SOIをベースとしたサブセット選択を利用した2段階の微調整手法を導入し,さらなる性能向上を実現する。 これらの知見は、トレーニングダイナミクスに関する新たな洞察を与え、マルチセット言語モデルの性能を最適化するための実践的なアプローチを提供する。

関連論文リスト

• Multi-Scale and Multi-Objective Optimization for Cross-Lingual Aspect-Based Sentiment Analysis [0.808899919316203]
  言語間ABSAのための新しいフレームワークであるMulti-Scale and Multi-Objective Optimization (MSMO)を提案する。 我々は、異なる文脈環境におけるアスペクト項の特徴を整合させて、言語間の文レベルとアスペクトレベルのアライメントを実現する。 その結果,MSMOは複数の言語やモデルにまたがって最先端の性能を実現することで,言語間ABSAを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-02-19T13:43:33Z)
• Optimizing Multi-Task Learning for Enhanced Performance in Large Language Models [5.930799903736776]
  提案したマルチタスク学習モデルは、テキスト分類精度と要約生成のROUGE値の観点から、他の比較モデルよりも優れている。 マルチタスク学習に基づくフレームワークは、分野横断の実践的応用において、より大きな役割を果たすことが期待されている。
  論文  参考訳（メタデータ） (2024-12-09T06:47:42Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment [38.35458193262633]
  英語中心のモデルは、通常他の言語では準最適である。 そこで本研究では,言語間命令チューニングデータの混合合成を利用したCrossInという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-18T06:20:50Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
  事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。 これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
  論文  参考訳（メタデータ） (2021-06-16T18:13:55Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。