論文の概要: ExpNote: Black-box Large Language Models are Better Task Solvers with Experience Notebook
- arxiv url: http://arxiv.org/abs/2311.07032v2
- Date: Mon, 12 Aug 2024 12:11:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 00:38:36.502912
- Title: ExpNote: Black-box Large Language Models are Better Task Solvers with Experience Notebook
- Title(参考訳): ExpNote: エクスペリエンスノートブックによるブラックボックスの大規模言語モデルの改善
- Authors: Wangtao Sun, Xuanqing Yu, Shizhu He, Jun Zhao, Kang Liu,
- Abstract要約: 我々は、ブラックボックスのLCMが慣れないタスクに適応するのに役立つ自動化フレームワークExpNoteを提案する。
我々は,複数のタスクに対するExpNoteの評価を行い,提案手法がブラックボックスLLMの性能を大幅に向上することを示した。
- 参考スコア(独自算出の注目度): 22.386864304549285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Black-box Large Language Models (LLMs) have shown great power in solving various tasks and are considered general problem solvers. However, LLMs still fail in many specific tasks although understand the task instruction. In this paper, we focus on the problem of boosting the ability of black-box LLMs to solve downstream tasks. We propose ExpNote, an automated framework to help LLMs better adapt to unfamiliar tasks through reflecting and noting experiences from training data and retrieving them from external memory during testing. We evaluate ExpNote on multiple tasks and the experimental results demonstrate that the proposed method significantly improves the performance of black-box LLMs. The data and code are available at https://github.com/forangel2014/ExpNote
- Abstract(参考訳): Black-box Large Language Models (LLM) は様々なタスクを解く上で大きな力を示しており、一般的な問題解決者と見なされている。
しかし、LSMはタスク命令を理解しながら、多くの特定のタスクで失敗する。
本稿では,下流の課題を解決するためのブラックボックスLLMの能力向上に焦点をあてる。
テスト中、トレーニングデータから経験を反映し、通知し、それらを外部メモリから取り出すことによって、LLMが慣れないタスクに適応するのに役立つ自動化フレームワークであるExpNoteを提案する。
我々は,複数のタスクに対するExpNoteの評価を行い,提案手法がブラックボックスLLMの性能を大幅に向上することを示した。
データとコードはhttps://github.com/forangel2014/ExpNoteで公開されている。
関連論文リスト
- Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - MLLMReID: Multimodal Large Language Model-based Person Re-identification [14.68436005777866]
MLLM(Multimodal large language model)は多くのタスクにおいて満足な結果を得た。
本稿では,ReIDの課題に適合させる方法について検討する。
論文 参考訳(メタデータ) (2024-01-24T03:07:26Z) - INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳(メタデータ) (2024-01-12T12:10:28Z) - InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
マルチモーダルな大言語モデル (MLLM) が注目されている。
この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。
InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-11-12T09:58:16Z) - TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。
我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。
本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
論文 参考訳(メタデータ) (2023-07-10T08:15:40Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。
本稿では,MLLM 評価ベンチマーク MME について述べる。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
論文 参考訳(メタデータ) (2023-06-23T09:22:36Z) - Multi-Task Instruction Tuning of LLaMa for Specific Scenarios: A
Preliminary Study on Writing Assistance [60.40541387785977]
小さな基礎モデルは、命令駆動データを用いて微調整された場合、多様なタスクに対処する際、顕著な習熟度を示すことができる。
本研究は, 汎用的な指導よりも, 1つないし数つの特定のタスクに主眼を置いている, 実践的な問題設定について検討する。
実験結果から,命令データに対する微調整LLaMAは,タスクの記述能力を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-05-22T16:56:44Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。