論文の概要: Orca 2: Teaching Small Language Models How to Reason

• arxiv url: http://arxiv.org/abs/2311.11045v2
• Date: Tue, 21 Nov 2023 19:43:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 12:02:21.583968
• Title: Orca 2: Teaching Small Language Models How to Reason
• Title（参考訳）: Orca 2: 小さな言語モデルに推論の仕方を教える
• Authors: Arindam Mitra, Luciano Del Corro, Shweti Mahajan, Andres Codas, Clarisse Simoes, Sahaj Agarwal, Xuxi Chen, Anastasia Razdaibiedina, Erik Jones, Kriti Aggarwal, Hamid Palangi, Guoqing Zheng, Corby Rosset, Hamed Khanpour, Ahmed Awadallah
• Abstract要約: Orca 1は、説明トレースのようなリッチな信号から学習し、従来の命令調整モデルより優れている。 Orca 2は、同様のサイズのモデルを大きく上回り、5～10倍のモデルと同等かそれ以上のパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 35.0285407867139
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Orca 1 learns from rich signals, such as explanation traces, allowing it to outperform conventional instruction-tuned models on benchmarks like BigBench Hard and AGIEval. In Orca 2, we continue exploring how improved training signals can enhance smaller LMs' reasoning abilities. Research on training small LMs has often relied on imitation learning to replicate the output of more capable models. We contend that excessive emphasis on imitation may restrict the potential of smaller models. We seek to teach small LMs to employ different solution strategies for different tasks, potentially different from the one used by the larger model. For example, while larger models might provide a direct answer to a complex task, smaller models may not have the same capacity. In Orca 2, we teach the model various reasoning techniques (step-by-step, recall then generate, recall-reason-generate, direct answer, etc.). More crucially, we aim to help the model learn to determine the most effective solution strategy for each task. We evaluate Orca 2 using a comprehensive set of 15 diverse benchmarks (corresponding to approximately 100 tasks and over 36,000 unique prompts). Orca 2 significantly surpasses models of similar size and attains performance levels similar or better to those of models 5-10x larger, as assessed on complex tasks that test advanced reasoning abilities in zero-shot settings. make Orca 2 weights publicly available at aka.ms/orca-lm to support research on the development, evaluation, and alignment of smaller LMs
• Abstract（参考訳）: Orca 1は、説明トレースのようなリッチな信号から学習し、BigBench HardやAGIEvalといったベンチマークで従来の命令チューニングモデルより優れている。 orca 2では、トレーニング信号の改善が、より小さなlmsの推論能力をいかに強化するかを引き続き検討する。 小さなLMを訓練する研究は、しばしば、より有能なモデルの出力を再現するために模倣学習に依存している。 我々は、模倣に過度に重きを置くことで、より小さいモデルの可能性を制限できると主張する。 我々は、異なるタスクに対して異なるソリューション戦略を採用するために、小さなLMを教えることを目指しています。 例えば、より大きなモデルは複雑なタスクに直接的な答えを与えるかもしれませんが、小さなモデルは同じ能力を持っていません。 orca 2では、さまざまな推論テクニック(ステップバイステップ、リコール、生成、リコール-リゾン生成、直接回答など)をモデルに教えます。 より重要なことは、モデルが各タスクに対して最も効果的なソリューション戦略を決定するのを助けることを目的としています。 Orca 2は15種類の多様なベンチマーク(約100タスクと36,000以上のユニークなプロンプトに対応する)を用いて評価する。 Orca 2は同様のサイズのモデルを大幅に上回り、ゼロショット設定で高度な推論能力をテストする複雑なタスクで評価されるように、5～10倍のモデルと同等以上のパフォーマンスレベルを達成する。 orca 2 重量を aka.ms/orca-lm で公開し、より小さい lms の開発、評価、アライメントの研究を支援する

関連論文リスト

• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Depth Anything V2 [84.88796880335283]
  V2は3つの重要なプラクティスを通じて、より微細でより堅牢な深度予測を生成する。 すべてのラベル付き実像を合成画像に置き換え、教師モデルの容量を拡大し、大規模な擬似ラベル付き実像のブリッジを通じて生徒モデルを教える。 その強い一般化能力から、距離深度モデルを得るために、距離深度ラベルを微調整する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:56Z)
• Large Language Model Pruning [0.0]
  LLMに特化したモデルプルーニング手法を提案する。 提案手法は深層学習モデルの説明可能性を強調する。 また、大規模モデルにおけるプルーニングと小規模モデルにおけるプルーニングの違いについても検討する。
  論文  参考訳（メタデータ） (2024-05-24T18:22:15Z)
• Can Small Language Models Help Large Language Models Reason Better?: LM-Guided Chain-of-Thought [51.240387516059535]
  タスク推論において,ブラックボックスの大きな (>10B) LMを導くために,軽量 (すなわち 1B) 言語モデル (LM) を利用する新しいフレームワーク LM-Guided CoT を導入する。 1)知識蒸留と2)合理性指向とタスク指向の報酬信号からの強化学習を通してモデルを最適化する。
  論文  参考訳（メタデータ） (2024-04-04T12:46:37Z)
• Orca-Math: Unlocking the potential of SLMs in Grade School Math [10.206509967833664]
  最近の研究では、GSM8Kベンチマークで80%以上の精度を達成するために必要な最小のモデルサイズは、34億のパラメータであると仮定されている。 より小さなモデルでこのレベルのパフォーマンスを達成するために、研究者はしばしばSLMを使ってPythonコードを生成するか、計算エラーを避けるツールを使用する。 エージェントが協調してデータを作成するマルチエージェントセットアップを使用して、200Kの数学問題の高品質な合成データセットを作成する。
  論文  参考訳（メタデータ） (2024-02-16T23:44:38Z)
• Orca: Progressive Learning from Complex Explanation Traces of GPT-4 [22.526048553548726]
  我々は, LFMの推論過程を模倣する13ビリオンパラメータモデルOrcaを開発した。 Orcaは、説明トレース、ステップバイステップの思考プロセス、その他の複雑な命令を含む、GPT-4から豊富な信号から学習する。 Orcaは、複雑なゼロショット推論ベンチマークにおいて、Vicuna-13Bのような最先端の命令チューニングモデルを100%以上上回る。
  論文  参考訳（メタデータ） (2023-06-05T08:58:39Z)
• Specializing Smaller Language Models towards Multi-Step Reasoning [56.78474185485288]
  GPT-3.5 (ge$ 175B) から T5 変種 (le$ 11B) までを蒸留できることを示す。 対象タスクに対するモデルの能力を専門化するモデル特殊化を提案する。
  論文  参考訳（メタデータ） (2023-01-30T08:51:19Z)
• What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? [50.84738303888189]
  本稿では,モデル選択の大規模評価とそのゼロショット一般化への影響について述べる。 私たちは、70億以上のトークンに対して、50億以上のパラメータを持つモデルをトレーニングします。 事前学習した因果デコーダモデルを非因果デコーダモデルに効率的に適用できることが判明した。
  論文  参考訳（メタデータ） (2022-04-12T14:19:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。