論文の概要: Skills-in-Context Prompting: Unlocking Compositionality in Large
Language Models
- arxiv url: http://arxiv.org/abs/2308.00304v2
- Date: Mon, 14 Aug 2023 08:11:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-15 18:52:35.193684
- Title: Skills-in-Context Prompting: Unlocking Compositionality in Large
Language Models
- Title(参考訳): Skills-in-Context Prompting:大規模言語モデルにおける構成性の解き放つ
- Authors: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong
Yu, Jianshu Chen
- Abstract要約: 本稿では,LLMに対して,より複雑な問題を解決するための基本的なスキルの作り方を指示する,SKiCプロンプトを提案する。
我々は、同じプロンプトの文脈において、スキルと構成例の両方を実証することが重要であることに気付きました。
このような顕著な特徴により、SKiCプロンプトは、挑戦的な数学的推論ベンチマークで最先端のパフォーマンスを達成することができる。
- 参考スコア(独自算出の注目度): 71.60282319755527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of eliciting compositional generalization
capabilities in large language models (LLMs) with a novel type of prompting
strategy. Compositional generalization empowers the LLMs to solve problems that
are harder than the ones they have seen (i.e., easy-to-hard generalization),
which is a critical reasoning capability of human-like intelligence. However,
even the current state-of-the-art LLMs still struggle with this form of
reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting,
which instructs LLMs how to compose basic skills to resolve more complex
problems. We find that it is crucial to demonstrate both the skills and the
compositional examples within the same prompting context. With as few as two
examplars, our SKiC prompting initiates strong synergies between skills and
their composition capabilities. Notably, it empowers LLMs to solve unseen
problems that require innovative skill compositions, achieving near-perfect
generalization on a broad range of challenging compositionality tasks.
Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling
them to leverage pre-existing internal skills acquired during earlier
pre-training stages, even when these skills are not explicitly presented in the
prompting context. This results in the capability of LLMs to solve unseen
complex problems by activating and composing internal competencies. With such
prominent features, SKiC prompting is able to achieve state-of-the-art
performance on challenging mathematical reasoning benchmarks (e.g., MATH).
- Abstract(参考訳): 本稿では,大規模言語モデル (LLM) における合成一般化能力を新しいタイプのプロンプト戦略で導入する問題を考察する。
構成的一般化は、人間のような知能の重要な推論能力である、自分たちが見たものよりも難しい問題(すなわち、難しい一般化)をLLMが解決する権限を与える。
しかし、現在最先端のLLMでさえ、このタイプの推論に苦戦している。
このギャップを埋めるために、我々はLLMにより複雑な問題を解決するための基本的なスキルの作り方を指示するスキル・イン・コンテクスト(SKiC)プロンプトを提案する。
同じプロンプトコンテキスト内でスキルと構成例の両方を示すことが重要であることが分かりました。
テストプラが2つもあれば、SKiCはスキルと構成能力の強い相乗効果を加速させます。
特に、革新的なスキル構成を必要とする目に見えない問題を解決するためにllmを力づけ、幅広い挑戦的な構成性タスクでほぼ完全な一般化を達成する。
興味深いことに、SKiCプロンプトはLSMの潜在能力を解放し、プロンプトの文脈でこれらのスキルが明示的に示されていない場合でも、初期のトレーニング段階で獲得した既存の内部スキルを活用することができる。
これにより、LLMは内部能力の活性化と構成によって、目に見えない複雑な問題を解決することができる。
このような顕著な特徴により、SKiCプロンプトは挑戦的な数学的推論ベンチマーク(MATHなど)で最先端のパフォーマンスを達成することができる。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Puzzle Solving using Reasoning of Large Language Models: A Survey [2.1392064955842023]
本稿では,Large Language Models (LLMs) のパズル解法における能力について検討する。
以上の結果から,LLM能力と人為的推論の相違が明らかとなった。
この調査は、LLMのパズル解決能力を向上させるために、新しい戦略とよりリッチなデータセットの必要性を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-17T14:19:38Z) - Igniting Language Intelligence: The Hitchhiker's Guide From
Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。
LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。
最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
論文 参考訳(メタデータ) (2023-11-20T14:30:55Z) - Visual AI and Linguistic Intelligence Through Steerability and
Composability [0.0]
本研究では,言語と視覚を統合した多段階課題に対処する上で,LLM(Multimodal large language model)の機能について検討する。
この研究は、AI Lego DesigningからAI Satellite Image Analysisまで、創造的で建設的に多様な14のタスクを提示する。
論文 参考訳(メタデータ) (2023-11-18T22:01:33Z) - When does In-context Learning Fall Short and Why? A Study on
Specification-Heavy Tasks [54.71034943526973]
In-context Learning (ICL)は、大規模言語モデル(LLM)のデフォルトメソッドとなっている。
ICLは、複雑で広範囲なタスク仕様を持つタスクである、仕様の重いタスクを処理できないことが分かりました。
我々は、コンテキストを具体的に理解できないこと、タスクスキーマが人間と理解できないこと、長文理解が不十分であること、の3つの主な理由を識別する。
論文 参考訳(メタデータ) (2023-11-15T14:26:30Z) - Knowledge Crosswords: Geometric Reasoning over Structured Knowledge with
Large Language Models [51.35398315130094]
構造的知識に対する幾何学的推論を提案し、そこでは知識の一部がグラフ構造に連結され、モデルは不足した情報を埋める必要がある。
このような幾何学的知識推論は、構造化された知識、不確実性のある推論、事実の検証、エラーが発生した時のバックトラックを扱う能力を必要とする。
本稿では,不完全なエンティティネットワークの幾何学的制約を表す自然言語質問からなるマルチブランクQAデータセットであるKnowledge Crosswordsを提案する。
論文 参考訳(メタデータ) (2023-10-02T15:43:53Z) - A Theory for Emergence of Complex Skills in Language Models [56.947273387302616]
今日のAI製品の主要な要因は、パラメータセットとトレーニングコーパスのスケールアップ時に、言語モデルに新たなスキルが現れることだ。
本稿では,LSMの有名な(かつ実証的な)スケーリング法則と単純な統計的枠組みを用いて,その出現を解析する。
論文 参考訳(メタデータ) (2023-07-29T09:22:54Z) - Prompting Large Language Models for Counterfactual Generation: An
Empirical Study [13.506528217009507]
大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。
本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-24T06:44:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。