論文の概要: Enhance Reasoning by Learning from Mistakes: Peer-Review Knowledge Distillation from Multiple Large Language Models
- arxiv url: http://arxiv.org/abs/2410.03663v1
- Date: Wed, 16 Oct 2024 01:01:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 20:48:16.567376
- Title: Enhance Reasoning by Learning from Mistakes: Peer-Review Knowledge Distillation from Multiple Large Language Models
- Title（参考訳）: 誤りから学ぶことによるエンハンス推論:複数大言語モデルからのピアレビュー知識蒸留
- Authors: Zhuochun Li, Yuelyu Ji, Rui Meng, Daqing He,
- Abstract要約: そこで本研究では,新しいMAPD法について紹介する。
本手法では, 教師から金の合理性を得る代わりに, 生徒の過ちを特定・説明するよう教師に求めている。
- 参考スコア（独自算出の注目度）: 11.756344944226495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have exhibited complex reasoning abilities by generating question rationales and demonstrated exceptional performance in natural language processing (NLP) tasks. However, these reasoning capabilities generally emerge in models with tens of billions of parameters, creating significant computational challenges for real-world deployment. Recent research has concentrated on improving open-source smaller models through knowledge distillation (KD) from commercial LLMs. Nevertheless, most of these studies rely solely on the responses from one single LLM as the gold rationale for training. In this paper, we introduce a novel Mistake-Aware Peer-Review Distillation (MAPD) approach: 1) Instead of merely obtaining gold rationales from teachers, our method asks teachers to identify and explain the student's mistakes, providing customized instruction learning data. 2) We design a simulated peer-review process between teacher LLMs, which selects only the generated rationales above the acceptance threshold. This reduces the chance of teachers guessing correctly with flawed rationale, improving instructional data quality. Comprehensive experiments and analysis on mathematical, commonsense, and logical reasoning tasks demonstrate the effectiveness of our method.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、疑問論理を生成して複雑な推論能力を示し、自然言語処理(NLP)タスクにおいて例外的な性能を示した。
しかしながら、これらの推論能力は一般的に、数千億のパラメータを持つモデルに現れ、実世界の展開において重要な計算上の課題を生み出している。
最近の研究は、商業用LLMからの知識蒸留(KD)によるオープンソースの小型モデルの改良に集中している。
しかしながら、これらの研究の多くは、訓練のための金の根拠として、1つのLLMからの応答のみに依存している。
本稿では,新しいMAPD(Mistake-Aware Peer-Review Distillation)アプローチを紹介する。
1) 教師から金の合理性を得る代わりに, 生徒の誤りを識別・説明し, カスタマイズした指導学習データを提供する。
2) 教師のLLM間の擬似ピアレビュープロセスを設計し, 受理しきい値以上の有理数のみを選択する。
これにより、教師が根拠の欠陥を正しく推測する機会が減り、データ品質が向上する。
数学的・常識的・論理的推論タスクに関する総合的な実験と分析は,本手法の有効性を実証する。
関連論文リスト
- Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。
複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。
大規模な実験により,提案システムの有効性が検証された。
論文 参考訳（メタデータ） (2024-10-18T05:30:33Z) - LINKED: Eliciting, Filtering and Integrating Knowledge in Large Language Model for Commonsense Reasoning [21.12539851761666]
大規模言語モデル(LLM)は、知識集約的なタスクにおけるパフォーマンスの低下を示すことがある。
大規模言語モデル(LINKED)における知識の抽出,フィルタリング,統合という新しい手法を提案する。
2つの複雑なコモンセンス推論ベンチマークに関する総合的な実験により、我々の手法はSOTAベースライン(最大9.0%の精度向上)を上回った。
論文 参考訳（メタデータ） (2024-10-12T14:12:22Z) - Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。
LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。
教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
論文 参考訳（メタデータ） (2024-07-12T10:11:40Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - QCRD: Quality-guided Contrastive Rationale Distillation for Large Language Models [13.54030164748731]
本稿では,品質誘導型コントラスト的合理的蒸留法を推論能力学習のための一般手法として提案する。
肯定的な知識を学習するために、自己整合性を通して有理性を収集し、温度サンプリングによって生成されたLCMの有理性を見極める。
負の知識蒸留では、反復前の小さな言語モデル自体の温度サンプリングを用いて負の有理値を生成する。
論文 参考訳（メタデータ） (2024-05-14T13:07:10Z) - Democratizing Reasoning Ability: Tailored Learning from Large Language
Model [97.4921006089966]
そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
論文 参考訳（メタデータ） (2023-10-20T07:50:10Z) - SCOTT: Self-Consistent Chain-of-Thought Distillation [68.40232422158569]
大規模言語モデル(LM)は、チェーン・オブ・シークレット・プロンプトを通じて予測のための自由テキスト論理を生成する。
そこで本研究では,教師モデルから,小規模で自己整合的なCoTモデルを学習するための忠実な知識蒸留法を提案する。
忠実蒸留を確実にするために,教師生成の合理性を用いて,反実的推論目的の学生LMを学習する。
論文 参考訳（メタデータ） (2023-05-03T03:47:00Z) - Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。
従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。
このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
論文 参考訳（メタデータ） (2022-11-27T05:14:03Z) - DE-RRD: A Knowledge Distillation Framework for Recommender System [16.62204445256007]
DE-RRDと呼ばれるレコメンダーシステムのためのナレッジ蒸留フレームワークを提案する。
これにより,教師モデルにエンコードされた潜在知識や教師の予測から学習モデルを学ぶことができる。
実験の結果,DE-RRDは最先端の競争相手よりも優れており,より高速な推論時間で教師モデルに匹敵する,あるいはさらに優れた性能を発揮することがわかった。
論文 参考訳（メタデータ） (2020-12-08T11:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。