論文の概要: OpenICL: An Open-Source Framework for In-context Learning

• arxiv url: http://arxiv.org/abs/2303.02913v1
• Date: Mon, 6 Mar 2023 06:20:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 17:00:05.407181
• Title: OpenICL: An Open-Source Framework for In-context Learning
• Title（参考訳）: OpenICL: コンテキスト内学習のためのオープンソースフレームワーク
• Authors: Zhenyu Wu, YaoXiang Wang, Jiacheng Ye, Jiangtao Feng, Jingjing Xu, Yu Qiao, Zhiyong Wu
• Abstract要約: In-context Learning (ICL) と大規模言語モデル評価のためのオープンソースツールキット OpenICL を紹介する。 OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。 OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
• 参考スコア（独自算出の注目度）: 48.75452105457122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, In-context Learning (ICL) has gained increasing attention and emerged as the new paradigm for large language model (LLM) evaluation. Unlike traditional fine-tuning methods, ICL instead adapts the pre-trained models to unseen tasks without any parameter updates. However, the implementation of ICL is sophisticated due to the diverse retrieval and inference methods involved, as well as the varying pre-processing requirements for different models, datasets, and tasks. A unified and flexible framework for ICL is urgently needed to ease the implementation of the aforementioned components. To facilitate ICL research, we introduce OpenICL, an open-source toolkit for ICL and LLM evaluation. OpenICL is research-friendly with a highly flexible architecture that users can easily combine different components to suit their needs. It also provides various state-of-the-art retrieval and inference methods to streamline the process of adapting ICL to cutting-edge research. The effectiveness of OpenICL has been validated on a wide range of NLP tasks, including classification, QA, machine translation, and semantic parsing. As a side-product, we found OpenICL to be an efficient yet robust tool for LLMs evaluation. OpenICL is released at https://github.com/Shark-NLP/OpenICL
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) 評価のための新たなパラダイムとして,インコンテキスト学習 (ICL) が注目されている。 従来の微調整方法とは異なり、ICLはパラメータを更新せずに未確認のタスクに事前訓練されたモデルを適用する。 しかし、iclの実装は、様々なモデル、データセット、タスクに対する様々な前処理要件と同様に、関連する多様な検索および推論方法によって洗練されている。 ICLの統一的で柔軟なフレームワークは、上記のコンポーネントの実装を容易にするために緊急に必要である。 ICL研究を促進するために、ICLとLLM評価のためのオープンソースツールキットOpenICLを紹介する。 OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。 また、最先端の研究にiclを適用するプロセスを合理化する様々な最先端の検索と推論手法を提供する。 OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。 副産物として, OpenICL は LLM 評価のための効率的かつ堅牢なツールであることがわかった。 OpenICLはhttps://github.com/Shark-NLP/OpenICLでリリースされた。

関連論文リスト

• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,与えられた入力とインコンテキストの相互作用をモデル化するために,DPP(Determinantal Point Processes)によってインスタンス化されるCEILを提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• A Survey for In-context Learning [56.40261564926631]
  In-context Learning (ICL)は自然言語処理のための新しいパラダイムである まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 そこで我々は,ICLの高度技術であるトレーニング戦略,促進戦略などを組織し,議論する。
  論文  参考訳（メタデータ） (2022-12-31T15:57:09Z)
• Parallel Context Windows Improve In-Context Learning of Large Language Models [54.956972332651574]
  そこで本研究では,既製の大規模言語モデル (LLM) のコンテキストウィンドウ制限を,さらなるトレーニングなしで緩和する手法であるParallel Context Windows (PCW) を提案する。 我々は,7億5000万から1億7800億のパラメータを持つモデルを用いて,テキスト内学習におけるPCWアプローチを検証し,多様な入力空間と出力空間を持つタスクに対して大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-12-21T11:38:51Z)
• Self-adaptive In-context Learning [15.3566963926257]
  本稿では、自己適応型インコンテキスト学習(ICL)の新たな原則を提唱する。 自己適応機構を導入し、各サンプルが正しい予測を導出できるコンテキスト内サンプル置換を見つけるのを助ける。 我々の自己適応型ICL法は,実践環境よりも40%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-20T15:55:21Z)
• Self-Prompting Large Language Models for Open-Domain QA [84.1784903043884]
  Open-Domain Question Answering (ODQA) は、コンテキストを指定せずに、ファクトイドの質問に答えるモデルを必要とする。 本稿では,大規模言語モデル(LLM)を知識コーパスとして扱うことにより,ODQAアーキテクチャを劇的に単純化できることを示す。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• PyRelationAL: A Library for Active Learning Research and Development [0.11545092788508224]
  PyRelationALは、アクティブラーニング(AL)研究のためのオープンソースライブラリである。 既存の文献に基づいたベンチマークデータセットとALタスク設定へのアクセスを提供する。 我々は、ベンチマークデータセットのPyRelationALコレクションの実験を行い、ALが提供できる相当な経済状況を示す。
  論文  参考訳（メタデータ） (2022-05-23T08:21:21Z)
• OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
  PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。 OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
  論文  参考訳（メタデータ） (2021-11-03T03:31:14Z)
• Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
  深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。 本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。 既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
  論文  参考訳（メタデータ） (2021-10-06T19:30:25Z)
• MLGO: a Machine Learning Guided Compiler Optimizations Framework [0.0]
  この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。 インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。 同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
  論文  参考訳（メタデータ） (2021-01-13T00:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。