論文の概要: Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization

• arxiv url: http://arxiv.org/abs/2402.01375v1
• Date: Fri, 2 Feb 2024 12:59:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 15:28:36.830649
• Title: Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization
• Title（参考訳）: キャズムに潜り込む: 内的・横断的一般化のギャップを探究する
• Authors: Andreas Waldis, Yufang Hou, Iryna Gurevych
• Abstract要約: 本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。 はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
• 参考スコア（独自算出の注目度）: 66.4659448305396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models (LMs) perform well in In-Topic setups, where training and testing data come from the same topics. However, they face challenges in Cross-Topic scenarios where testing data is derived from distinct topics -- such as Gun Control. This study analyzes various LMs with three probing-based experiments to shed light on the reasons behind the In- vs. Cross-Topic generalization gap. Thereby, we demonstrate, for the first time, that generalization gaps and the robustness of the embedding space vary significantly across LMs. Additionally, we assess larger LMs and underscore the relevance of our analysis for recent models. Overall, diverse pre-training objectives, architectural regularization, or data deduplication contribute to more robust LMs and diminish generalization gaps. Our research contributes to a deeper understanding and comparison of language models across different generalization scenarios.
• Abstract（参考訳）: トレーニング済み言語モデル(LM)は、トレーニングとテストが同じトピックから来る、イントピックのセットアップでうまく機能する。 しかしながら、Gun Controlなど、異なるトピックからデータをテストする場合、クロストピックシナリオでは課題に直面している。 本研究は,3つの探索型実験を用いて様々なLMを分析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。 そこで本研究では, 一般化ギャップと埋め込み空間のロバスト性がlsmにより大きく異なることを示す。 さらに、より大きなlmsを評価し、最近のモデルに対する分析の妥当性を強調する。 全体として、様々な事前学習の目的、アーキテクチャの規則化、データ重複は、より堅牢なLMに寄与し、一般化のギャップを減らします。 本研究は,様々な一般化シナリオにおける言語モデルの理解と比較に寄与する。

関連論文リスト

• On the Universal Truthfulness Hyperplane Inside LLMs [27.007142483859162]
  モデル内の事実的正確かつ誤った出力を区別する普遍真性超平面が存在するかどうかを考察する。 その結果,トレーニングデータセットの多様性の向上が,すべてのシナリオのパフォーマンスを著しく向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-07-11T15:07:26Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Machine Learning vs Deep Learning: The Generalization Problem [0.0]
  本研究では,従来の機械学習(ML)モデルとディープラーニング(DL)アルゴリズムの比較能力について,外挿の観点から検討した。 本稿では,MLモデルとDLモデルの両方が指数関数で学習され,学習領域外の値でテストされる経験的分析を提案する。 その結果,ディープラーニングモデルには,学習範囲を超えて一般化する固有の能力があることが示唆された。
  論文  参考訳（メタデータ） (2024-03-03T21:42:55Z)
• On the Out-Of-Distribution Generalization of Multimodal Large Language Models [24.431960338495184]
  MLLM(Multimodal Large Language Models)の一般化境界について検討する。 我々は、合成画像、実世界の分布シフト、医療画像や分子画像などの特殊なデータセットにまたがるゼロショットの一般化を評価した。 テキスト内学習はMLLMの一般化を著しく向上させ,一般化障壁を克服するための新たな道を開くことができることを示す。
  論文  参考訳（メタデータ） (2024-02-09T18:21:51Z)
• Low-Rank Adaptation for Multilingual Summarization: An Empirical Study [60.541168233698194]
  私たちはその可能性を調査する。 多言語要約領域におけるローランド適応(LoRA)に着目した効率的なファインチューニング ハイデータやローデータの設定、言語間転送など、さまざまなデータ可用性シナリオに関する広範な調査を行います。 以上の結果から,LoRAは大量のデータでトレーニングされた場合の完全な微調整と競合し,低データシナリオや言語間転送に優れることがわかった。
  論文  参考訳（メタデータ） (2023-11-14T22:32:39Z)
• DCID: Deep Canonical Information Decomposition [84.59396326810085]
  本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。 そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。 また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T16:59:06Z)
• Multilingual Multi-Aspect Explainability Analyses on Machine Reading Comprehension Models [76.48370548802464]
  本稿では,マルチヘッド自己注意と最終MRCシステム性能の関係を検討するために,一連の解析実験を実施することに焦点を当てる。 問合せ及び問合せ理解の注意が問合せプロセスにおいて最も重要なものであることが判明した。 包括的可視化とケーススタディを通じて、注意マップに関するいくつかの一般的な知見も観察し、これらのモデルがどのように問題を解くかを理解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-08-26T04:23:57Z)
• Revisiting Training Strategies and Generalization Performance in Deep Metric Learning [28.54755295856929]
  我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。 一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。 これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
  論文  参考訳（メタデータ） (2020-02-19T22:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。