論文の概要: On the Inductive Bias of Stacking Towards Improving Reasoning

• arxiv url: http://arxiv.org/abs/2409.19044v1
• Date: Fri, 27 Sep 2024 17:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 04:40:55.511359
• Title: On the Inductive Bias of Stacking Towards Improving Reasoning
• Title（参考訳）: 推論改善に向けたスタックリングの帰納的バイアスについて
• Authors: Nikunj Saunshi, Stefani Karp, Shankar Krishnan, Sobhan Miryoosefi, Sashank J. Reddi, Sanjiv Kumar,
• Abstract要約: 言語モデルのトレーニングを最大40%高速化できるMIDASと呼ばれる段階的スタック方式を提案する。 MIDASはトレーニング効率だけでなく、ダウンストリームタスクを改善するための誘導バイアスも備えている。 我々は、この帰納バイアスの根底にある理由を、ループモデルへの積み重ねの接続を探索することによって推測する。
• 参考スコア（独自算出の注目度）: 50.225873619537765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the increasing scale of model sizes, novel training strategies like gradual stacking [Gong et al., 2019, Reddi et al., 2023] have garnered interest. Stacking enables efficient training by gradually growing the depth of a model in stages and using layers from a smaller model in an earlier stage to initialize the next stage. Although efficient for training, the model biases induced by such growing approaches are largely unexplored. In this work, we examine this fundamental aspect of gradual stacking, going beyond its efficiency benefits. We propose a variant of gradual stacking called MIDAS that can speed up language model training by up to 40%. Furthermore we discover an intriguing phenomenon: MIDAS is not only training-efficient but surprisingly also has an inductive bias towards improving downstream tasks, especially tasks that require reasoning abilities like reading comprehension and math problems, despite having similar or slightly worse perplexity compared to baseline training. To further analyze this inductive bias, we construct reasoning primitives -- simple synthetic tasks that are building blocks for reasoning -- and find that a model pretrained with stacking is significantly better than standard pretraining on these primitives, with and without fine-tuning. This provides stronger and more robust evidence for this inductive bias towards reasoning. These findings of training efficiency and inductive bias towards reasoning are verified at 1B, 2B and 8B parameter language models. Finally, we conjecture the underlying reason for this inductive bias by exploring the connection of stacking to looped models and provide strong supporting empirical analysis.
• Abstract（参考訳）: モデルのサイズが大きくなる中、段階的な積み重ね(Gong et al , 2019, Reddi et al , 2023)のような新しいトレーニング戦略が注目されている。 スタック化は、段階的にモデルの深さを徐々に増加させ、初期段階の小さなモデルからレイヤを使用して、次の段階を初期化する、効率的なトレーニングを可能にする。 トレーニングには効率的だが、そのような成長するアプローチによって引き起こされるモデルバイアスは、ほとんど探索されていない。 本研究では,この段階的積み重ねの基本的側面を,効率性を超えて検討する。 言語モデルの学習を最大40%高速化できるMIDASと呼ばれる段階的積み上げ法を提案する。 さらに、MIDASはトレーニング効率が良いだけでなく、ダウンストリームタスク、特に理解や数学の問題などの推論能力を必要とするタスクに対する帰納的バイアスも備えています。 この帰納バイアスをさらに分析するために、推論プリミティブ(推論のためのブロックを構築する単純な合成タスク)を構築します。 これにより、この推論に対する帰納的偏見の強い、より堅牢な証拠が得られる。 これらの学習効率と推論に対する帰納バイアスは,1B,2B,8Bパラメータ言語モデルで検証された。 最後に、この帰納バイアスの根底にある理由を、ループモデルへの積み重ねの関連を探究し、強力な支持実験分析を提供することによって推測する。

関連論文リスト

• Revisiting the Superficial Alignment Hypothesis [0.9831489366502302]
  表面アライメント仮説(英語版)は、言語モデルの能力と知識のほとんど全てが事前訓練中に学習されていることを示唆している。 我々はこれらの主張を再検討し、微調整例の増加とともにポストトレーニングのスケーリング行動を研究する。
  論文  参考訳（メタデータ） (2024-09-27T22:14:10Z)
• Towards Exact Computation of Inductive Bias [8.988109761916379]
  本稿では,タスクの一般化に必要な帰納バイアスを効率的に計算する手法を提案する。 より高次元的なタスクはより帰納的バイアスを必要とすることを示す。 提案した帰納バイアス指標は,特定のモデルアーキテクチャの利点を情報理論で解釈する。
  論文  参考訳（メタデータ） (2024-06-22T21:14:24Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• SIP: Injecting a Structural Inductive Bias into a Seq2Seq Model by Simulation [75.14793516745374]
  本稿では, 構造的帰納バイアスをセック2セックモデルに効率よく注入し, 合成データの構造的変換をシミュレートする方法について述べる。 実験の結果,本手法は所望の帰納バイアスを付与し,FSTのようなタスクに対してより優れた数発学習を実現することがわかった。
  論文  参考訳（メタデータ） (2023-10-01T21:19:12Z)
• Small-scale proxies for large-scale Transformer training instabilities [69.36381318171338]
  我々は、小規模でトレーニングの安定性と不安定性を再現し、研究する方法を模索する。 学習速度とスケールによる損失の関係を計測することにより,これらの不安定性は,学習率の高いトレーニングにおいて,小さなモデルにも現れることを示す。 ウォームアップ,ウェイト崩壊,および$mu$Paramなどの手法を用いて,学習速度変化の桁数で同様の損失を被る小さなモデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-25T17:48:51Z)
• A Systematic Study of Bias Amplification [16.245943270343343]
  近年の研究では、機械学習モデルによる予測は、トレーニングデータに存在するバイアスを増幅することができることが示唆されている。 我々は、バイアス増幅の発生時期と発生状況について、初めて体系的に制御された研究を行う。
  論文  参考訳（メタデータ） (2022-01-27T18:04:24Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks [38.153825455980645]
  最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。 本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。 もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
  論文  参考訳（メタデータ） (2020-12-16T05:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。