論文の概要: Large Language Models are In-context Teachers for Knowledge Reasoning

• arxiv url: http://arxiv.org/abs/2311.06985v2
• Date: Mon, 17 Jun 2024 05:57:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 11:31:28.952906
• Title: Large Language Models are In-context Teachers for Knowledge Reasoning
• Title（参考訳）: 大規模言語モデルは知識推論のための文脈内教師である
• Authors: Jiachen Zhao, Zonghai Yao, Zhichao Yang, Hong Yu,
• Abstract要約: CoT(Chain-of- Thought)プロンプトは、単に情報検索以上の情報を必要とするクエリを推論するために、コンテキストにおいて大きな言語モデル(LLM)を教える。 本研究は,LLMが知識推論に有効であるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 8.869111204842248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought (CoT) prompting teaches large language models (LLMs) in context to reason over queries that require more than mere information retrieval. However, human experts are usually required to craft demonstrations for in-context learning (ICL), which is expensive and has high variance. More importantly, how to craft helpful reasoning exemplars for ICL remains unclear. In this work, we investigate whether LLMs can be better in-context teachers for knowledge reasoning. We follow the ``encoding specificity'' hypothesis in human's memory retrieval to assume in-context exemplars at inference should match the encoding context in training data. We are thus motivated to propose Self-Explain to use one LLM's self-elicited explanations as in-context demonstrations for prompting it as they are generalized from the model's training examples. Self-Explain is shown to significantly outperform using human-crafted exemplars and other baselines. We further reveal that for in-context teaching, rationales by distinct teacher LLMs or human experts that more resemble the student LLM's self-explanations are better demonstrations, which supports our encoding specificity hypothesis. We then propose Teach-Back that aligns the teacher LLM with the student to enhance the in-context teaching performance. For example, Teach-Back enables a 7B model to teach the much larger GPT-3.5 in context, surpassing human teachers by around 5% in test accuracy on medical question answering.
• Abstract（参考訳）: CoT(Chain-of- Thought)プロンプトは、単に情報検索以上の情報を必要とするクエリを推論するために、コンテキストにおいて大きな言語モデル(LLM)を教える。 しかし、人間の専門家は通常、高コストでばらつきが高いインコンテキスト学習(ICL)のデモンストレーションを作成する必要がある。 さらに重要なことは、ICLの有用な推論例を作る方法が明確でないことである。 本研究は,LLMが知識推論に有効であるかどうかを考察する。 我々は、人間の記憶検索における「エンコード特異性」仮説に従い、推論におけるインコンテキストの例は、トレーニングデータのエンコーディングコンテキストと一致するべきであると仮定する。 そこで本研究では, LLM の自己記述的説明を実例から一般化する上で, 自己記述的説明を文脈内説明として用いることを提案する。 自己説明は、人造の模範やその他のベースラインを用いて、著しく優れていた。 さらに、文脈内教育において、LLMの自己説明とより類似した、異なる教師のLLMや人間の専門家による合理性は、私たちの符号化特異性仮説を支持する、より良い実証であることを明らかにした。 そこで,本研究では,教師のLLMを学生に合わせるTeach-Backを提案する。 例えば Teach-Back は 7B モデルで,より大きな GPT-3.5 をコンテキストで教えることができる。

関連論文リスト

• What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する 一般的な仮説の一つは、タスク選択によるICLの説明である。 もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
  論文  参考訳（メタデータ） (2024-06-06T16:15:34Z)
• TinyLLM: Learning a Small Student from Multiple Large Language Models [23.736611338497244]
  TinyLLMは、複数の大規模LLMから小学生のLLMを学ぶための新しい知識蒸留パラダイムである。 そこで本研究では,文脈的に適切なシナリオにおいて,理科が正確で基礎が整っていることを保証するために,文脈内サンプル生成と教師強制型Chain-of-Thought戦略を導入する。
  論文  参考訳（メタデータ） (2024-02-07T06:48:24Z)
• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  AlignedCoTは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Can Language Models Teach Weaker Agents? Teacher Explanations Improve Students via Personalization [84.86241161706911]
  教師のLLMは、実際に生徒の推論に介入し、パフォーマンスを向上させることができることを示す。 また,マルチターンインタラクションでは,教師による説明が一般化され,説明データから学習されることを示す。 教師のミスアライメントが学生の成績をランダムな確率に低下させることを、意図的に誤解させることで検証する。
  論文  参考訳（メタデータ） (2023-06-15T17:27:20Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。