論文の概要: OpenICL: An Open-Source Framework for In-context Learning
- arxiv url: http://arxiv.org/abs/2303.02913v1
- Date: Mon, 6 Mar 2023 06:20:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 17:00:05.407181
- Title: OpenICL: An Open-Source Framework for In-context Learning
- Title(参考訳): OpenICL: コンテキスト内学習のためのオープンソースフレームワーク
- Authors: Zhenyu Wu, YaoXiang Wang, Jiacheng Ye, Jiangtao Feng, Jingjing Xu, Yu
Qiao, Zhiyong Wu
- Abstract要約: In-context Learning (ICL) と大規模言語モデル評価のためのオープンソースツールキット OpenICL を紹介する。
OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。
OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
- 参考スコア(独自算出の注目度): 48.75452105457122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, In-context Learning (ICL) has gained increasing attention
and emerged as the new paradigm for large language model (LLM) evaluation.
Unlike traditional fine-tuning methods, ICL instead adapts the pre-trained
models to unseen tasks without any parameter updates. However, the
implementation of ICL is sophisticated due to the diverse retrieval and
inference methods involved, as well as the varying pre-processing requirements
for different models, datasets, and tasks. A unified and flexible framework for
ICL is urgently needed to ease the implementation of the aforementioned
components. To facilitate ICL research, we introduce OpenICL, an open-source
toolkit for ICL and LLM evaluation. OpenICL is research-friendly with a highly
flexible architecture that users can easily combine different components to
suit their needs. It also provides various state-of-the-art retrieval and
inference methods to streamline the process of adapting ICL to cutting-edge
research. The effectiveness of OpenICL has been validated on a wide range of
NLP tasks, including classification, QA, machine translation, and semantic
parsing. As a side-product, we found OpenICL to be an efficient yet robust tool
for LLMs evaluation. OpenICL is released at
https://github.com/Shark-NLP/OpenICL
- Abstract(参考訳): 近年,大規模言語モデル (LLM) 評価のための新たなパラダイムとして,インコンテキスト学習 (ICL) が注目されている。
従来の微調整方法とは異なり、ICLはパラメータを更新せずに未確認のタスクに事前訓練されたモデルを適用する。
しかし、iclの実装は、様々なモデル、データセット、タスクに対する様々な前処理要件と同様に、関連する多様な検索および推論方法によって洗練されている。
ICLの統一的で柔軟なフレームワークは、上記のコンポーネントの実装を容易にするために緊急に必要である。
ICL研究を促進するために、ICLとLLM評価のためのオープンソースツールキットOpenICLを紹介する。
OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。
また、最先端の研究にiclを適用するプロセスを合理化する様々な最先端の検索と推論手法を提供する。
OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
副産物として, OpenICL は LLM 評価のための効率的かつ堅牢なツールであることがわかった。
OpenICLはhttps://github.com/Shark-NLP/OpenICLでリリースされた。
関連論文リスト
- LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。
RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。
BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
論文 参考訳(メタデータ) (2024-01-28T11:51:09Z) - Flexibly Scaling Large Language Models Contexts Through Extensible
Tokenization [6.9004592877749005]
大規模言語モデル(LLM)は、多くの重要なアプリケーションを扱うのに十分なコンテキストを必要とする。
コンテキストウィンドウのサイズは微調整で拡張できるが、トレーニングと推論の段階ではかなりのコストがかかる。
LLMのコンテキストの柔軟なスケーリングを実現する代替手法として,拡張可能なトークン化を提案する。
論文 参考訳(メタデータ) (2024-01-15T16:00:50Z) - Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning [29.3822877145617]
Batch-ICLは、文脈内学習のための効率的、効率的、秩序に依存しない推論アルゴリズムである。
Batch-ICL は ICL の例のほとんどを一貫して上回っていることを示す。
また,メタ最適化の「エポック」を複数備えた新しいBatch-ICLを開発した。
論文 参考訳(メタデータ) (2024-01-12T09:31:17Z) - In-Context Exemplars as Clues to Retrieving from Large Associative
Memory [1.2952137350423816]
インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がトレーニングなしでインコンテキストの例からパターンを学習することを可能にする。
文脈内学習の仕組みの理解が欠如しているため、模範をどう選ぶかはいまだ不明である。
本研究は、メモリ検索に接続することで、ICLのメカニズムに新たな光を当てる。
論文 参考訳(メタデータ) (2023-11-06T20:13:29Z) - Hint-enhanced In-Context Learning wakes Large Language Models up for
knowledge-intensive tasks [56.8695016800117]
大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。
我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-11-03T14:39:20Z) - FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large
Language Models in Federated Learning [70.38817963253034]
本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。
我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。
本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
論文 参考訳(メタデータ) (2023-09-01T09:40:36Z) - Iterative Forward Tuning Boosts In-context Learning in Language Models [46.848235335267375]
大規模言語モデル (LLM) は、ICL(In-context Learning) の能力を示す。
本稿では、トランスフォーマーの注意と勾配降下に基づく最適化の二重形式を利用して、LCMにおけるICL向上のための2段階のフレームワークを提案する。
本手法は,精度と効率の両面で,標準ICLよりもかなり優れた性能を実現する。
論文 参考訳(メタデータ) (2023-05-22T13:18:17Z) - A Survey on In-context Learning [56.40261564926631]
In-context Learning (ICL)は自然言語処理のための新しいパラダイムである
まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。
そこで我々は,訓練戦略,実証設計戦略,関連する分析など,高度な手法を整理し,議論する。
論文 参考訳(メタデータ) (2022-12-31T15:57:09Z) - Self-Adaptive In-Context Learning: An Information Compression
Perspective for In-Context Example Selection and Ordering [15.3566963926257]
本稿では、自己適応型インコンテキスト学習(ICL)の新たな原則を提唱する。
自己適応機構を導入し、各サンプルが正しい予測を導出できるコンテキスト内サンプル置換を見つけるのを助ける。
我々の自己適応型ICL法は,実践環境よりも40%の相対的な改善を実現している。
論文 参考訳(メタデータ) (2022-12-20T15:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。