論文の概要: Large Language Models can Learn Rules

• arxiv url: http://arxiv.org/abs/2310.07064v1
• Date: Tue, 10 Oct 2023 23:07:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 01:05:56.689028
• Title: Large Language Models can Learn Rules
• Title（参考訳）: 大きな言語モデルはルールを学習できます
• Authors: Zhaocheng Zhu, Yuan Xue, Xinyun Chen, Denny Zhou, Jian Tang, Dale Schuurmans, Hanjun Dai
• Abstract要約: 大規模言語モデル(LLM)を用いた推論のためのルールライブラリを学習するフレームワークであるHtTを提案する。 数値的推論問題と関係的推論問題の両方の実験は、HtTが既存のプロンプト法を改善することを示している。 学習されたルールは、異なるモデルや同じ問題の異なる形式にも転送可能である。
• 参考スコア（独自算出の注目度）: 111.74335251955804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When prompted with a few examples and intermediate steps, large language models (LLMs) have demonstrated impressive performance in various reasoning tasks. However, prompting methods that rely on implicit knowledge in an LLM often hallucinate incorrect answers when the implicit knowledge is wrong or inconsistent with the task. To tackle this problem, we present Hypotheses-to-Theories (HtT), a framework that learns a rule library for reasoning with LLMs. HtT contains two stages, an induction stage and a deduction stage. In the induction stage, an LLM is first asked to generate and verify rules over a set of training examples. Rules that appear and lead to correct answers sufficiently often are collected to form a rule library. In the deduction stage, the LLM is then prompted to employ the learned rule library to perform reasoning to answer test questions. Experiments on both numerical reasoning and relational reasoning problems show that HtT improves existing prompting methods, with an absolute gain of 11-27% in accuracy. The learned rules are also transferable to different models and to different forms of the same problem.
• Abstract（参考訳）: いくつかの例と中間ステップで促されると、大きな言語モデル(LLM)は様々な推論タスクにおいて印象的なパフォーマンスを示した。 しかし、LLMにおける暗黙の知識に依存する手法の推進は、暗黙の知識が誤りであったり、そのタスクと矛盾している場合、しばしば誤った答えを幻滅させる。 この問題に対処するために,LLMによる推論のためのルールライブラリを学習するフレームワークであるHtTを提案する。 HtTは誘導段階と推論段階の2つの段階を含む。 誘導段階では、LLMはまず一連のトレーニング例に基づいてルールを生成し検証するように要求される。 規則ライブラリを形成するために、頻繁に出現し、十分な正解につながるルールが収集される。 推論段階では、LLMは学習ルールライブラリを使用して、テスト問題に答えるための推論を行うように促される。 数値推論問題と関係推論問題の両方の実験により、HtTは既存のプロンプト法を改良し、絶対精度は11～27%向上した。 学習したルールは、異なるモデルや同じ問題の異なる形式にも転送可能である。

関連論文リスト

• Reasoning with Large Language Models, a Survey [2.831296564800826]
  本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。 我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。 我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-16T08:49:35Z)
• What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する 一般的な仮説の一つは、タスク選択によるICLの説明である。 もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
  論文  参考訳（メタデータ） (2024-06-06T16:15:34Z)
• An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models [99.31449616860291]
  現代の言語モデル(LM)は、異なる方法で新しいタスクを実行することを学べる。 次の命令では、ターゲットタスクは自然言語で明示的に記述され、少数ショットプロンプトでは、タスクは暗黙的に指定される。 命令推論では、LMはインコンテキストの例を示し、自然言語のタスク記述を生成するように促される。
  論文  参考訳（メタデータ） (2024-04-03T19:31:56Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Enabling Large Language Models to Learn from Rules [99.16680531261987]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection Method [36.24876571343749]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。 近年の文献では、LLMは断続的に非実効応答を生成する。 本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T06:22:14Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。