論文の概要: Benchmarking General Purpose In-Context Learning

• arxiv url: http://arxiv.org/abs/2405.17234v3
• Date: Thu, 6 Jun 2024 11:18:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 20:13:39.053947
• Title: Benchmarking General Purpose In-Context Learning
• Title（参考訳）: インテクスト学習のためのベンチマーク
• Authors: Fan Wang, Chuan Lin, Yang Cao, Yu Kang,
• Abstract要約: インコンテキスト学習(ICL)は、AIコミュニティにますますアピールしている。 ICLを拡張して、幅広いタスクに対応し、学習の地平を広げることを目指しています。 GPICLの機能のトレーニングと評価に特化して開発されたベンチマークを2つ導入する。
• 参考スコア（独自算出の注目度）: 19.40952728849431
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In-context learning (ICL) is becoming increasingly appealing to the AI community due to its flexibility, generality, sample efficiency, and exemption from artificial optimization skills. It is desirable to further enhance the generality and capability of ICL, which gives rise to the concept of general-purpose in-context learning (GPICL). We aim to extend ICL to address a broader range of tasks with an extended learning horizon and higher improvement potential, albeit with relatively limited zero-shot generalization. To this end, we introduce two lightweight but insightful benchmarks specifically crafted to train and evaluate GPICL functionalities. Each benchmark includes a vast number of tasks characterized by significant task variance, featuring minimal transferable knowledge among tasks. These tasks are designed to facilitate lifelong in-context learning through continuous generation and interaction. These features pose significant challenges for models that rely on context or interactions to improve their proficiency, including language models, decision models, and world models. Our experiments reveal that the scale of parameters alone may not be crucial for ICL or GPICL, suggesting alternative approaches such as increasing the scale of contexts and memory states.
• Abstract（参考訳）: インコンテキスト学習(ICL)は、柔軟性、汎用性、サンプル効率、人工最適化スキルの免除などにより、AIコミュニティにますますアピールしている。 汎用インコンテキスト学習(GPICL)の概念がもたらされるICLの汎用性と能力のさらなる向上が望まれる。 我々は、より広い範囲のタスクに対応するためにICLを拡張し、比較的制限されたゼロショットの一般化を伴いながら、学習の地平を拡大し、改善の可能性を高めることを目指している。 この目的のために、GPICLの機能のトレーニングと評価に特化して開発された2つの軽量で洞察に富んだベンチマークを導入する。 各ベンチマークには、タスク間の伝達可能な最小限の知識を特徴とする、大きなタスク分散を特徴とする膨大なタスクが含まれている。 これらのタスクは、連続した生成と相互作用を通じて、生涯にわたるコンテキスト内学習を促進するように設計されている。 これらの特徴は、言語モデル、決定モデル、世界モデルなどの能力を向上させるために文脈や相互作用に依存するモデルに重大な課題をもたらす。 実験の結果,パラメータのスケールはICLやGPICLにとって重要ではなく,コンテキストやメモリ状態のスケールを増大させるような代替手法が提案されている。

関連論文リスト

• Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
  In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。 本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
  論文  参考訳（メタデータ） (2024-10-29T09:02:37Z)
• Agent Skill Acquisition for Large Language Models via CycleQD [2.749898166276853]
  CycleQDはアルゴリズムの循環的適応を通じて品質多様性フレームワークを活用する新しいアプローチである。 各タスクのパフォーマンス指標は品質指標として交換され、他のタスクは行動特性として機能する。 CycleQD を LLAMA3-8B-INSTRUCT ベースのモデルに適用することで、コーディング、オペレーティングシステム、データベースタスクにおける従来の微調整手法を超越するだけでなく、GPT-3.5-TURBO と同等のパフォーマンスを達成できる。
  論文  参考訳（メタデータ） (2024-10-16T20:27:15Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Fusing Domain-Specific Content from Large Language Models into Knowledge Graphs for Enhanced Zero Shot Object State Classification [0.8232137862012223]
  本研究では,Large Language Models (LLMs) のドメイン固有情報の生成と提供における可能性について検討する。 これを実現するために、LLMは知識グラフと事前訓練されたセマンティックベクターを利用するパイプラインに統合される。 その結果,LLMをベースとした組込みと汎用的な事前学習型組込みを組み合わせることで,大幅な性能向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-03-18T18:08:44Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)
• Variational Empowerment as Representation Learning for Goal-Based Reinforcement Learning [114.07623388322048]
  本稿では,標準目標条件付きRL (GCRL) を目的変動エンパワーメントによってカプセル化する方法について論じる。 我々の研究は、ゴールベースRLで表現学習技術を評価し、分析し、開発する新しい基礎を築いた。
  論文  参考訳（メタデータ） (2021-06-02T18:12:26Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。