論文の概要: Explanations from Large Language Models Make Small Reasoners Better
- arxiv url: http://arxiv.org/abs/2210.06726v1
- Date: Thu, 13 Oct 2022 04:50:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 15:41:09.475519
- Title: Explanations from Large Language Models Make Small Reasoners Better
- Title(参考訳): 大きな言語モデルからの説明は、小さな推論を良くする
- Authors: Shiyang Li, Jianshu Chen, Yelong Shen, Zhiyu Chen, Xinlu Zhang, Zekun
Li, Hong Wang, Jing Qian, Baolin Peng, Yi Mao, Wenhu Chen and Xifeng Yan
- Abstract要約: 提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。
副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
- 参考スコア(独自算出の注目度): 61.991772773700006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating free-text explanations to in-context learning of large language
models (LLM) is shown to elicit strong reasoning capabilities along with
reasonable explanations. In this paper, we consider the problem of leveraging
the explanations generated by LLM to improve the training of small reasoners,
which are more favorable in real-production deployment due to their low cost.
We systematically explore three explanation generation approaches from LLM and
utilize a multi-task learning framework to facilitate small models to acquire
strong reasoning power together with explanation generation capabilities.
Experiments on multiple reasoning tasks show that our method can consistently
and significantly outperform finetuning baselines across different settings,
and even perform better than finetuning/prompting a 60x larger GPT-3 (175B)
model by up to 9.5% in accuracy. As a side benefit, human evaluation further
shows that our method can generate high-quality explanations to justify its
predictions, moving towards the goal of explainable AI.
- Abstract(参考訳): 大規模言語モデル(LLM)の文脈内学習への自由文説明の統合は、合理的な説明とともに強い推論能力をもたらす。
本稿では,LLMが生み出した説明を活用して,低コストで実運用に有利な小型推論器の訓練を改善することの課題について考察する。
LLMからの3つの説明生成手法を体系的に検討し、マルチタスク学習フレームワークを用いて、説明生成機能とともに強力な推論能力を得るための小さなモデルを容易にする。
複数の推論タスクに対する実験により、我々の手法は異なる設定で微調整ベースラインを一貫して大幅に上回り、60倍のGPT-3 (175B)モデルを最大9.5%精度で微調整/プロンプトするよりも優れた性能が得られることが示された。
副次的なメリットとして,人間の評価は,その予測を正当化するために高品質な説明を生成できることを示し,説明可能なaiの目標に向かっている。
関連論文リスト
- Inference to the Best Explanation in Large Language Models [6.037970847418495]
Inference to the Best Explanation (IBE) に関する哲学的な記述から着想を得た IBE-Eval を提案する。
IBE-Evalは、明示的な論理的特徴と言語的特徴を組み合わせることで、自然言語の説明の妥当性を推定する。
実験の結果、IBE-Evalは77%の精度で最良の説明を特定できることがわかった。
論文 参考訳(メタデータ) (2024-02-16T15:41:23Z) - Show Me How It's Done: The Role of Explanations in Fine-Tuning Language
Models [0.45060992929802207]
言語モデルの性能を向上させるために,説明付き微調整を用いることによる重要な利点を示す。
私たちは、6000万のパラメータしか持たない小さな言語モデルでさえ、このアプローチからかなり恩恵を受けていることに気付きました。
論文 参考訳(メタデータ) (2024-02-12T10:11:50Z) - Large Language Models As Faithful Explainers [67.38301892818778]
大規模言語モデル(LLM)は近年,その豊富な内部知識と推論能力を活用することで,複雑なタスクに対処する技術に長けている。
我々は、LLMの自然言語形式で提供される説明の忠実性を改善するために、生成的説明フレームワークであるxLLMを導入する。
3つのNLUデータセットで行った実験により、xLLMは生成された説明の忠実性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - Explanation-aware Soft Ensemble Empowers Large Language Model In-context
Learning [50.00090601424348]
大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。
我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
論文 参考訳(メタデータ) (2023-11-13T06:13:38Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (2023-09-02T22:14:26Z) - LMExplainer: a Knowledge-Enhanced Explainer for Language Models [23.286843033345658]
GPT-4のような大規模言語モデル(LLM)は非常に強力であり、異なる種類の自然言語処理(NLP)タスクを処理できる。
言語モデル(LM)の動作の明確さと理解の欠如は、現実のシナリオで使用する上で、信頼できない、信頼できない、潜在的に危険なものにします。
本稿では,人間に理解可能な説明を提供する,知識を駆使したLMExplainerを提案する。
論文 参考訳(メタデータ) (2023-03-29T08:59:44Z) - Complementary Explanations for Effective In-Context Learning [77.83124315634386]
大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。
この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
論文 参考訳(メタデータ) (2022-11-25T04:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。