論文の概要: Self-AMPLIFY: Improving Small Language Models with Self Post Hoc
Explanations
- arxiv url: http://arxiv.org/abs/2402.12038v1
- Date: Mon, 19 Feb 2024 10:47:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:04:52.633957
- Title: Self-AMPLIFY: Improving Small Language Models with Self Post Hoc
Explanations
- Title(参考訳): self-amplify: 自己後説明による小さな言語モデルの改善
- Authors: Milan Bhan and Jean-Noel Vittaut and Nicolas Chesneau and Marie-Jeanne
Lesot
- Abstract要約: 本研究では,Small Language Models (SLM) に適用したポストホックな説明法から,自動論理式を生成するセルフAMPLIFYを提案する。
Self-AMPLIFYは、サンプルをターゲットとし、合理性を生成し、In-Context Learning (ICL)を活用するための最後のプロンプトを構築する3段階のメソッドである。
- 参考スコア(独自算出の注目度): 0.45880283710344055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incorporating natural language rationales in the prompt and In-Context
Learning (ICL) has led to a significant improvement of Large Language Models
(LLMs) performance. However, rationales currently require human-annotation or
the use of auxiliary proxy models to target promising samples or generate
high-quality rationales. In this work, we propose Self-AMPLIFY to generate
automatically rationales from post hoc explanation methods applied to Small
Language Models (SLMs) to improve their own performance. Self-AMPLIFY is a
3-step method that targets samples, generates rationales and builds a final
prompt to leverage ICL. Self-AMPLIFY performance is evaluated on two SLMs and
two datasets requiring reasoning abilities: these experiments show that
Self-AMPLIFY achieves good results against competitors. Self-AMPLIFY is the
first method to apply post hoc explanation methods to SLM to generate
rationales to improve their own performance in a fully automated manner.
- Abstract(参考訳): インプロンプトとインコンテキスト学習(ICL)に自然言語の合理性を組み込むことで、LLM(Large Language Models)のパフォーマンスが大幅に向上した。
しかしながら、現在、有望なサンプルをターゲットにしたり、高品質な有理数を生成するために、人間アノテーションや補助プロキシモデルの使用が必要である。
そこで本研究では,Small Language Models (SLM) に適用したポストホックな説明手法から,自動論理式を生成するセルフAMPLIFYを提案する。
Self-AMPLIFYは、サンプルをターゲットとし、合理性を生成し、ICLを活用するための最後のプロンプトを構築する3段階のメソッドである。
自己AMPLIFYのパフォーマンスは、推論能力を必要とする2つのSLMと2つのデータセットで評価される。
Self-AMPLIFYは、SLMにポストホックな説明法を適用して、完全に自動化された方法で自身のパフォーマンスを改善するための合理性を生成する最初の方法である。
関連論文リスト
- Self-Refine Instruction-Tuning for Aligning Reasoning in Language Models [0.8133739801185272]
小さい言語モデルと大きい言語モデルの間の推論能力のアライメントは、主にスーパーバイザード・ファイン・チューニング(SFT)を通して行われる。
そこで本研究では,より小さな言語モデルを用いて自己定義する自己記述型指導手法を提案する。
コモンセンスと数学の推論タスクで得られた結果は、このアプローチがドメイン内とドメイン外の両方のシナリオでインストラクションチューニングを著しく上回っていることを示している。
論文 参考訳(メタデータ) (2024-05-01T09:10:27Z) - Improving Sentence Embeddings with an Automatically Generated NLI
Dataset [15.235687410343171]
デコーダベースの大規模言語モデル(LLM)は、自然言語処理における多くのタスクにおいて高いパフォーマンスを示している。
我々は,NLIデータセットを自動生成することで,教師なし環境で学習した文の埋め込みを改善することを目的とする。
STSタスク実験において, 提案手法は, 平均スピアマンランク相関係数82.21を人体評価で達成した。
論文 参考訳(メタデータ) (2024-02-23T06:33:51Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - SELF: Self-Evolution with Language Feedback [68.6673019284853]
SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。
LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。
数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
論文 参考訳(メタデータ) (2023-10-01T00:52:24Z) - Reranking for Natural Language Generation from Logical Forms: A Study
based on Large Language Models [47.08364281023261]
大規模言語モデル(LLM)は、自然言語生成において印象的な能力を示している。
しかし、それらの出力品質は矛盾する可能性があり、論理形式(LF)から自然言語を生成する上での課題を提起する。
論文 参考訳(メタデータ) (2023-09-21T17:54:58Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。
我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。
AMPLIFYは,幅広いタスクに対して約10~25%の精度向上を実現している。
論文 参考訳(メタデータ) (2023-05-19T04:46:04Z) - SimOAP: Improve Coherence and Consistency in Persona-based Dialogue
Generation via Over-sampling and Post-evaluation [54.66399120084227]
大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。
ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。
オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
論文 参考訳(メタデータ) (2023-05-18T17:23:00Z) - Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。
GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。
我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
論文 参考訳(メタデータ) (2023-03-30T18:30:01Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳(メタデータ) (2022-12-20T13:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。