論文の概要: Democratizing Reasoning Ability: Tailored Learning from Large Language
Model
- arxiv url: http://arxiv.org/abs/2310.13332v1
- Date: Fri, 20 Oct 2023 07:50:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 23:53:30.068067
- Title: Democratizing Reasoning Ability: Tailored Learning from Large Language
Model
- Title(参考訳): 民主化推論能力:大規模言語モデルから学ぶ
- Authors: Zhaoyang Wang, Shaohan Huang, Yuxuan Liu, Jiahai Wang, Minghui Song,
Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang
- Abstract要約: そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
- 参考スコア(独自算出の注目度): 97.4921006089966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) exhibit impressive emergent abilities in natural
language processing, but their democratization is hindered due to huge
computation requirements and closed-source nature. Recent research on advancing
open-source smaller LMs by distilling knowledge from black-box LLMs has
obtained promising results in the instruction-following ability. However, the
reasoning ability which is more challenging to foster, is relatively rarely
explored. In this paper, we propose a tailored learning approach to distill
such reasoning ability to smaller LMs to facilitate the democratization of the
exclusive reasoning ability. In contrast to merely employing LLM as a data
annotator, we exploit the potential of LLM as a reasoning teacher by building
an interactive multi-round learning paradigm. This paradigm enables the student
to expose its deficiencies to the black-box teacher who then can provide
customized training data in return. Further, to exploit the reasoning potential
of the smaller LM, we propose self-reflection learning to motivate the student
to learn from self-made mistakes. The learning from self-reflection and LLM are
all tailored to the student's learning status, thanks to the seamless
integration with the multi-round learning paradigm. Comprehensive experiments
and analysis on mathematical and commonsense reasoning tasks demonstrate the
effectiveness of our method. The code will be available at
https://github.com/Raibows/Learn-to-Reason.
- Abstract(参考訳): 大規模言語モデル(llm)は自然言語処理において目覚ましい能力を発揮するが、その民主化は巨大な計算要件とクローズドソースの性質のために妨げられている。
ブラックボックスLSMの知識を蒸留してオープンソースの小型LMを前進させる最近の研究は、命令追従能力の有望な結果を得た。
しかし、それを育むのが難しい理由付け能力は比較的まれである。
本稿では,これらの推論能力を小さいLMに蒸留し,排他的推論能力の民主化を促進するための学習手法を提案する。
LLMをデータアノテータとしてのみ使用するのとは対照的に、対話型マルチラウンド学習パラダイムを構築することにより、LCMを推論教師としての可能性を利用する。
このパラダイムにより、生徒はその欠陥をブラックボックスの教師に公開し、その代わりにカスタマイズされたトレーニングデータを提供できる。
さらに,より小さいlmの推論能力を活用するために,自発的誤りから学習する動機づけとなる自己回帰学習を提案する。
自己回帰とLDMからの学習は、多ラウンド学習パラダイムとのシームレスな統合により、生徒の学習状況に合わせて調整される。
数学的および常識的推論タスクに関する総合的な実験と分析は,本手法の有効性を実証する。
コードはhttps://github.com/Raibows/Learn-to-Reason.comから入手できる。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Into the Unknown: Self-Learning Large Language Models [5.824378285976688]
本研究では,LLMが未知の知識を独立して学習することのできる自己学習フレームワークを提案する。
幻覚スコアを用いて、未知の点(PiU)の新たな概念を導入する。
これは、The Unknownのポイントにおける知識ギャップにのみ焦点をあてた、自己学習ループの作成を促進する。
論文 参考訳(メタデータ) (2024-02-14T12:56:58Z) - Rethinking Machine Unlearning for Large Language Models [89.99791628154274]
大規模言語モデル(LLM)の領域における機械学習の研究
このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文 参考訳(メタデータ) (2024-02-13T20:51:58Z) - TinyLLM: Learning a Small Student from Multiple Large Language Models [25.46572743887175]
TinyLLMは、複数の大きなLLMから小学生のLLMを学ぶための新しい知識蒸留パラダイムである。
そこで本研究では,文脈的に適切なシナリオにおいて,理科が正確で基礎が整っていることを保証するために,文脈内サンプル生成と教師強制型Chain-of-Thought戦略を導入する。
論文 参考訳(メタデータ) (2024-02-07T06:48:24Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Learning To Teach Large Language Models Logical Reasoning [33.88499005859982]
大規模言語モデル(LLM)は、学術と産業の両方から大きな注目を集めている。
しかし、現在のLLMは、その固有の問題のために、実用的な推論タスクにおいて信頼性の低いコンテンツを出力している。
論文 参考訳(メタデータ) (2023-10-13T14:53:06Z) - Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from
Knowledge Graphs [19.0797968186656]
大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。
以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
論文 参考訳(メタデータ) (2023-09-06T15:55:01Z) - Rethinking with Retrieval: Faithful Large Language Model Inference [91.66406351103484]
我々は検索(RR)で再考する新しいポストプロセッシング手法を提案する。
RRは、チェーン・オブ・シークレット・プロンプトから得られた推論ステップに基づいて、関連する外部知識を検索する。
複雑な3つの推論課題に対する GPT-3 を用いた広範囲な実験により RR の有効性を評価する。
論文 参考訳(メタデータ) (2022-12-31T22:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。