論文の概要: Demonstration Notebook: Finding the Most Suited In-Context Learning Example from Interactions
- arxiv url: http://arxiv.org/abs/2406.10878v1
- Date: Sun, 16 Jun 2024 10:02:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-18 20:21:59.024429
- Title: Demonstration Notebook: Finding the Most Suited In-Context Learning Example from Interactions
- Title（参考訳）: Demonstration Notebook:インタラクションから最もスイート化されたインコンテキスト学習例を見つける
- Authors: Yiming Tang, Bin Dong,
- Abstract要約: 実験ノート」と呼ばれる新しい物体を中心に構築された新しいプロンプトエンジニアリングワークフローを提案する。
このノートブックは、LLMの過去のインタラクションから情報を収集して再利用することで、質問に対して最も適したコンテキスト内学習例を特定するのに役立つ。
実験により, 提案手法は, 自動的な実演構築と選択において, 既存の手法よりも優れていることがわかった。
- 参考スコア（独自算出の注目度）: 8.869100154323643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) benefit greatly from prompt engineering, with in-context learning standing as a pivital technique. While former approaches have provided various ways to construct the demonstrations used for in-context learning, they often ignore the inherent heterogeneity within datasets, applying the same demonstrations to all reasoning questions. We observed that the effectiveness of demonstrations varies depending on the specific question. This motivates our exploration of using prompt engineering to select appropriate demonstrations. To address the challenge of automatically creating and choosing demonstrations tailored to each question, we propose a novel prompt engineering workflow built around a novel object called the "demonstration notebook." This notebook helps identify the most suitable in-context learning example for a question by gathering and reusing information from the LLM's past interactions. Our experiments show that this approach outperforms all existing methods for automatic demonstration construction and selection (as far as we know), achieving state-of-the-art results on serveral reasoning benchmarks. The method's versatility is further demonstrated by its success in text summarization and prompt compression tasks. Additionally, we contribute a rigorous analysis method to reveal the "demonstrative regime" of a demonstration, providing valuable insights into how demonstrations relate to different question types within a dataset.
- Abstract（参考訳）: 大規模言語モデル (LLMs) は素早い工学の恩恵を受けている。
従来のアプローチでは、コンテキスト内学習に使用されるデモを構築するためのさまざまな方法が提供されていたが、データセット内の固有の不均一性を無視し、すべての推論問題に同じデモを適用することが多かった。
その結果,実演の有効性は特定の質問によって異なることがわかった。
これは、プロンプトエンジニアリングを使用して適切なデモを選択することの探索を動機付けます。
そこで本研究では,各質問に適合したデモの自動作成と選択の課題に対処するために,"デモノート"と呼ばれる新しいオブジェクトを中心に構築された,新しいプロンプトエンジニアリングワークフローを提案する。
このノートブックは、LLMの過去のインタラクションから情報を収集して再利用することで、質問に対して最も適したコンテキスト内学習例を特定するのに役立つ。
実験の結果,本手法は,サーバの推論ベンチマークにおいて,自動的な実演構築と選択(我々の知る限り)の手法よりも優れており,最先端の結果が得られていることがわかった。
この手法の汎用性は、テキスト要約と即時圧縮タスクの成功によってさらに証明される。
さらに、実験の「実証的体制」を明らかにするために厳密な分析手法を提供し、実験がデータセット内の様々な質問タイプとどのように関連しているかについての貴重な洞察を提供する。
関連論文リスト
- Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。
本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。
本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
論文 参考訳（メタデータ） (2024-01-22T16:25:27Z) - In-context Learning with Retrieved Demonstrations for Language Models: A Survey [23.24271704145876]
インコンテクスト学習者(ICL)は入力コンテキストでのデモを少しだけ行うだけで、新しいタスクに適応できる。
最近の開発では、固定された一連のデモを使う代わりに、各入力クエリに合わせたデモを検索する。
本稿では,検索モデル,検索訓練手順,推論アルゴリズムの異なる設計選択について論じ,比較する。
論文 参考訳（メタデータ） (2024-01-21T23:34:42Z) - Scaling In-Context Demonstrations with Structured Attention [75.41845145597875]
我々は、文脈内学習のためのより優れたアーキテクチャ設計を提案する。
In-Context Learningのための構造化アテンションは、構造化アテンションメカニズムによって完全なアテンションを置き換える。
SAICLは、最大3.4倍の推論速度で、フルアテンションよりも同等または優れた性能を実現していることを示す。
論文 参考訳（メタデータ） (2023-07-05T23:26:01Z) - In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。
テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
論文 参考訳（メタデータ） (2023-05-24T05:04:00Z) - Boosting Reinforcement Learning and Planning with Demonstrations: A
Survey [25.847796336059343]
シーケンシャルな意思決定にデモを使うことの利点について論じる。
我々は,最近提案されたManiSkillロボット学習ベンチマークにおいて,デモの生成と活用のための実用的なパイプラインを実演する。
論文 参考訳（メタデータ） (2023-03-23T17:53:44Z) - A Survey of Demonstration Learning [0.0]
実証学習(Demonstration Learning)は、エージェントがデモンストレーションで示された専門家の行動を模倣してタスクを実行することを学習するパラダイムである。
デモから複雑な振る舞いを学ぶ大きな可能性を秘めているため、大きな注目を集めている。
環境と対話することなく学習することで、デモ学習はロボット工学や医療といった幅広い現実世界の応用を自動化できる。
論文 参考訳（メタデータ） (2023-03-20T15:22:10Z) - ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for
Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。
ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。
具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文 参考訳（メタデータ） (2023-03-09T06:24:50Z) - Synthetic Prompting: Generating Chain-of-Thought Demonstrations for
Large Language Models [121.54462976635743]
大規模言語モデルはチェーン・オブ・ソート・プロンプトを使用して様々な推論タスクを実行でき、ステップ・バイ・ステップのデモを通じて回答を見つけることができる。
そこで本研究では,手作りの例を数種類活用して,モデルにさらに多くの例を生成する手法であるSynthetic promptingを紹介する。
本手法は数値的,記号的,アルゴリズム的推論タスクにおいて評価し,既存のプロンプト手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-02-01T17:33:12Z) - Rethinking the Role of Demonstrations: What Makes In-Context Learning
Work? [112.72413411257662]
大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。
実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。
デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
論文 参考訳（メタデータ） (2022-02-25T17:25:19Z) - Reinforcement Learning with Supervision from Noisy Demonstrations [38.00968774243178]
本研究では,環境と協調して対話し,専門家による実演を生かして政策を適応的に学習する新しい枠組みを提案する。
複数の人気強化学習アルゴリズムを用いた各種環境における実験結果から,提案手法はノイズの多い実演で頑健に学習可能であることが示された。
論文 参考訳（メタデータ） (2020-06-14T06:03:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。