論文の概要: Why Larger Language Models Do In-context Learning Differently?

• arxiv url: http://arxiv.org/abs/2405.19592v1
• Date: Thu, 30 May 2024 01:11:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 18:46:29.783955
• Title: Why Larger Language Models Do In-context Learning Differently?
• Title（参考訳）: より大規模な言語モデルでは、インコンテキスト学習はなぜ異なるのか?
• Authors: Zhenmei Shi, Junyi Wei, Zhuoyan Xu, Yingyu Liang,
• Abstract要約: 大規模言語モデル(LLM)は、インコンテキスト学習(ICL)の重要な能力を備えた、AIの強力なツールとして登場した。 最近の謎の観測では、異なるスケールのモデルが異なるICLの挙動を持つ可能性がある。
• 参考スコア（独自算出の注目度）: 12.554356517949785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLM) have emerged as a powerful tool for AI, with the key ability of in-context learning (ICL), where they can perform well on unseen tasks based on a brief series of task examples without necessitating any adjustments to the model parameters. One recent interesting mysterious observation is that models of different scales may have different ICL behaviors: larger models tend to be more sensitive to noise in the test context. This work studies this observation theoretically aiming to improve the understanding of LLM and ICL. We analyze two stylized settings: (1) linear regression with one-layer single-head linear transformers and (2) parity classification with two-layer multiple attention heads transformers (non-linear data and non-linear model). In both settings, we give closed-form optimal solutions and find that smaller models emphasize important hidden features while larger ones cover more hidden features; thus, smaller models are more robust to noise while larger ones are more easily distracted, leading to different ICL behaviors. This sheds light on where transformers pay attention to and how that affects ICL. Preliminary experimental results on large base and chat models provide positive support for our analysis.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、AIの強力なツールとして登場し、コンテキスト内学習(ICL)の重要な能力を持つ。 最近の興味深い観察の1つは、異なるスケールのモデルは異なるICLの挙動を持つかもしれないということである。 本研究は,LLMとICLの理解向上を目的とした理論的研究である。 本研究では,(1) 単層線形変圧器を用いた線形回帰と(2) 多層多層頭部変圧器を用いたパリティ分類(非線形データと非線形モデル)の2つのスタイルを解析した。 両方の設定において、クローズドフォームの最適解を与え、より小さなモデルでは重要な隠れた特徴が強調され、大きなモデルではより隠れた特徴が強調される。 このことは、トランスフォーマーが注目する場所と、それがICLにどのように影響するかに光を当てています。 大規模ベースモデルとチャットモデルに関する予備実験の結果は、我々の分析を肯定的に支援する。

関連論文リスト

• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Mini-Hes: A Parallelizable Second-order Latent Factor Analysis Model [8.06111903129142]
  本稿では,LFAモデル構築のためのミニブロック対角ヘシアンフリー(Mini-Hes)最適化を提案する。 実験結果から,Mini-Hesでは,LFAモデルは欠落したデータ推定タスクに対処する上で,いくつかの最先端モデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-19T08:43:00Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Improving In-context Learning via Bidirectional Alignment [41.214003703218914]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を通じて、多くのタスクにおいて印象的な数ショットの一般化を示している。 我々は,学生モデルのICL能力を向上させるために,ICL事例に対するモデルの嗜好を十分に活用するための双方向アライメント(Bidirectional Alignment, BiAlign)を提案する。 具体的には、新しいランキング損失を取り入れることで、学生と教師のモデル間の入力好みのアライメントを導入する。
  論文  参考訳（メタデータ） (2023-12-28T15:02:03Z)
• The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction [22.659005954676598]
  重み行列の高次成分を選択的に除去することにより,大規模言語モデルの性能を大幅に向上させることができることを示す。 LAER(Layer-Selective Rank reduction)と呼ばれるこの単純な介入は、トレーニングが完了した後、モデル上で行うことができる。 言語モデルとデータセットにまたがって、この発見の汎用性を実証する広範な実験を示す。
  論文  参考訳（メタデータ） (2023-12-21T03:51:08Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。