論文の概要: Auto-ICL: In-Context Learning without Human Supervision

• arxiv url: http://arxiv.org/abs/2311.09263v1
• Date: Wed, 15 Nov 2023 07:37:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 18:20:53.704612
• Title: Auto-ICL: In-Context Learning without Human Supervision
• Title（参考訳）: Auto-ICL:人間の監督なしでのインコンテキスト学習
• Authors: Jinghan Yang, Shuming Ma, Furu Wei
• Abstract要約: Vanilla In-Context Learningは人間が提供するコンテキストに依存します。 自動文脈学習(Automatic In-Context Learning)という普遍的なフレームワークを提案する。 提案手法は,既存の手法と比較して,様々なタスクに対して高い性能を示す。
• 参考スコア（独自算出の注目度）: 104.58114779879688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the era of Large Language Models (LLMs), human-computer interaction has evolved towards natural language, offering unprecedented flexibility. Despite this, LLMs are heavily reliant on well-structured prompts to function efficiently within the realm of In-Context Learning. Vanilla In-Context Learning relies on human-provided contexts, such as labeled examples, explicit instructions, or other guiding mechanisms that shape the model's outputs. To address this challenge, our study presents a universal framework named Automatic In-Context Learning. Upon receiving a user's request, we ask the model to independently generate examples, including labels, instructions, or reasoning pathways. The model then leverages this self-produced context to tackle the given problem. Our approach is universally adaptable and can be implemented in any setting where vanilla In-Context Learning is applicable. We demonstrate that our method yields strong performance across a range of tasks, standing up well when compared to existing methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)の時代、人間とコンピュータの相互作用は自然言語へと進化し、前例のない柔軟性を提供している。 それにもかかわらず、LLMはIn-Context Learningの領域内で効率的に機能するための構造化されたプロンプトに大きく依存している。 バニラ・インコンテキスト・ラーニング(Vanilla In-Context Learning)は、ラベル付き例や明示的な指示、あるいはモデルの出力を形作る他の指針機構など、人間が提供するコンテキストに依存している。 この課題に対処するため、我々はAutomatic In-Context Learningという普遍的なフレームワークを提案する。 ユーザの要求を受信すると、ラベル、命令、推論経路など、独立してサンプルを生成するようモデルに要求する。 モデルは、与えられた問題に取り組むために、この自己生成コンテキストを利用する。 私たちのアプローチは、普遍的に適応可能であり、バニラインコンテキスト学習が適用可能な任意の環境で実装できます。 提案手法は,既存の手法と比較した場合,様々なタスクにまたがって強力な性能をもたらすことを実証する。

関連論文リスト

• Can Large Language Models Understand Context? [17.196362853457412]
  本稿では,生成モデルの評価に適合する既存のデータセットを適応させることにより,文脈理解ベンチマークを提案する。 実験結果から, 事前学習された高密度モデルでは, 最先端の微調整モデルと比較して, よりニュアンスな文脈特徴の理解に苦慮していることが明らかとなった。 LLM圧縮は研究と実世界のアプリケーションの両方において重要度が高くなっているため、文脈学習環境下での量子化モデルの文脈理解を評価する。
  論文  参考訳（メタデータ） (2024-02-01T18:55:29Z)
• Towards Truly Zero-shot Compositional Visual Reasoning with LLMs as Programmers [54.83459025465947]
  最大のモデルでさえ、構成的推論、一般化、きめ細かい空間的および時間的推論、数え上げに苦しむ。 コントローラとしての大きな言語モデル(LLM)による視覚的推論は、原則として、タスクを分解し、一連の(視覚的な)ツールを編成することでサブタスクを解決することで、これらの制限に対処することができる。 本稿では,空間的・時間的に抽象的なルーチンを導入し,少数のラベル付き例を利用してコンテキスト内サンプルを自動的に生成することにより,これらの問題を緩和するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-03T20:48:47Z)
• Fine-Tune Language Models as Multi-Modal Differential Equation Solvers [14.181842691371935]
  本稿では,コンテキスト内演算子の学習をマルチモーダルパラダイムに変換する。 特に,近年の大規模言語モデルの成功からインスピレーションを得て,演算子に関する人間の知識を統合するために「カプセル」の使用を提案する。
  論文  参考訳（メタデータ） (2023-08-09T16:44:25Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。