論文の概要: Auto-ICL: In-Context Learning without Human Supervision
- arxiv url: http://arxiv.org/abs/2311.09263v1
- Date: Wed, 15 Nov 2023 07:37:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 18:20:53.704612
- Title: Auto-ICL: In-Context Learning without Human Supervision
- Title(参考訳): Auto-ICL:人間の監督なしでのインコンテキスト学習
- Authors: Jinghan Yang, Shuming Ma, Furu Wei
- Abstract要約: Vanilla In-Context Learningは人間が提供するコンテキストに依存します。
自動文脈学習(Automatic In-Context Learning)という普遍的なフレームワークを提案する。
提案手法は,既存の手法と比較して,様々なタスクに対して高い性能を示す。
- 参考スコア(独自算出の注目度): 104.58114779879688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the era of Large Language Models (LLMs), human-computer interaction has
evolved towards natural language, offering unprecedented flexibility. Despite
this, LLMs are heavily reliant on well-structured prompts to function
efficiently within the realm of In-Context Learning. Vanilla In-Context
Learning relies on human-provided contexts, such as labeled examples, explicit
instructions, or other guiding mechanisms that shape the model's outputs. To
address this challenge, our study presents a universal framework named
Automatic In-Context Learning. Upon receiving a user's request, we ask the
model to independently generate examples, including labels, instructions, or
reasoning pathways. The model then leverages this self-produced context to
tackle the given problem. Our approach is universally adaptable and can be
implemented in any setting where vanilla In-Context Learning is applicable. We
demonstrate that our method yields strong performance across a range of tasks,
standing up well when compared to existing methods.
- Abstract(参考訳): 大規模言語モデル(LLM)の時代、人間とコンピュータの相互作用は自然言語へと進化し、前例のない柔軟性を提供している。
それにもかかわらず、LLMはIn-Context Learningの領域内で効率的に機能するための構造化されたプロンプトに大きく依存している。
バニラ・インコンテキスト・ラーニング(Vanilla In-Context Learning)は、ラベル付き例や明示的な指示、あるいはモデルの出力を形作る他の指針機構など、人間が提供するコンテキストに依存している。
この課題に対処するため、我々はAutomatic In-Context Learningという普遍的なフレームワークを提案する。
ユーザの要求を受信すると、ラベル、命令、推論経路など、独立してサンプルを生成するようモデルに要求する。
モデルは、与えられた問題に取り組むために、この自己生成コンテキストを利用する。
私たちのアプローチは、普遍的に適応可能であり、バニラインコンテキスト学習が適用可能な任意の環境で実装できます。
提案手法は,既存の手法と比較した場合,様々なタスクにまたがって強力な性能をもたらすことを実証する。
関連論文リスト
- Can Large Language Models Understand Context? [17.196362853457412]
本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。
実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。
LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
論文 参考訳(メタデータ) (2024-02-01T18:55:29Z) - Natural Language based Context Modeling and Reasoning for Ubiquitous
Computing with Large Language Models: A Tutorial [35.743576799998564]
大規模言語モデル(LLM)は、コンテキスト対応コンピューティングを導入してから20年が経ち、2018年以来、驚くほど急増している。
本チュートリアルでは,テキスト,プロンプト,自律エージェント(AutoAgents)の使用を実演し,LLMが文脈モデリングや推論を行うことを可能にする。
論文 参考訳(メタデータ) (2023-09-24T00:15:39Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳(メタデータ) (2023-07-15T08:33:08Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement
Learning [77.34726150561087]
In-Context Learning (RetICL) のための検索式を提案する。
我々は、マルコフ決定プロセスとして逐次サンプル選択の問題を定義し、LSTMを用いてサンプルレトリバーモデルを設計し、近似ポリシー最適化を用いてそれを訓練する。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-05-16T03:38:06Z) - The Learnability of In-Context Learning [16.182561312622315]
そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。
本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。
文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
論文 参考訳(メタデータ) (2023-03-14T13:28:39Z) - Compositional Exemplars for In-context Learning [21.961094715261133]
大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。
本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。
我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
論文 参考訳(メタデータ) (2023-02-11T14:02:08Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。