Fugu-MT 論文翻訳(概要): Continual Learning Using Only Large Language Model Prompting

論文の概要: Continual Learning Using Only Large Language Model Prompting

arxiv url: http://arxiv.org/abs/2412.15479v1
Date: Fri, 20 Dec 2024 01:21:57 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-23 16:22:14.571770
Title: Continual Learning Using Only Large Language Model Prompting
Title（参考訳）: 大規模言語モデルプロンプティングのみを用いた連続学習
Authors: Jiabao Qiu, Zixuan Ke, Bing Liu,
Abstract要約: 本稿では,大規模言語モデル(LLM)をブラックボックスとみなす新しい連続学習パラダイムであるCLOBを紹介する。また,LLMの入力長制限を克服するインクリメンタルな要約に基づいて,CISと呼ばれる新しいCL手法を提案する。
参考スコア（独自算出の注目度）: 13.987306383667518
License:
Abstract: We introduce CLOB, a novel continual learning (CL) paradigm wherein a large language model (LLM) is regarded as a black box. Learning is done incrementally via only verbal prompting. CLOB does not fine-tune any part of the LLM or add any trainable parameters to it. It is particularly suitable for LLMs that are accessible via APIs. We also propose a new CL technique, called CIS, based on incremental summarization that also overcomes the LLM's input length limit. Experiments show CIS outperforms baselines by a very large margin.
Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)をブラックボックスとみなす,新しい継続学習(CL)パラダイムであるCLOBを紹介する。学習は言葉のプロンプトだけで徐々に行われます。 CLOB は LLM の一部を微調整したり、トレーニング可能なパラメータを追加したりしない。 API経由でアクセス可能なLLMには特に適しています。また,LLMの入力長制限を克服するインクリメンタルな要約に基づいて,CISと呼ばれる新しいCL手法を提案する。実験では、CISはベースラインを非常に大きなマージンで上回っている。

関連論文リスト

PathOCL: Path-Based Prompt Augmentation for OCL Generation with GPT-4 [10.564949684320727]
本稿では,Object Constraint Language生成を容易にするために設計された新しいパスベースのプロンプト拡張技術であるPathOCLを紹介する。以上の結果から,PathOCLは完全クラスモデル(UML-Augmentation)に比較して,有効かつ正しいOCL制約を多く生成することがわかった。
論文参考訳（メタデータ） (2024-05-21T02:00:54Z)
Word Embeddings Revisited: Do LLMs Offer Something New? [2.822851601000061]
意味のある単語の埋め込みを学ぶことは、堅牢な言語モデルをトレーニングする上で鍵となる。最近のLarge Language Models(LLMs)の増加は、多くの新しい単語/文/文書の埋め込みモデルを提供してくれました。
論文参考訳（メタデータ） (2024-02-16T21:47:30Z)
InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory [93.20588235940453]
本稿では,トレーニング不要なメモリベースのInfLLMを提案する。 InfLLMは、リモートコンテキストを追加のメモリユニットに格納し、トークン関連ユニットを注目するために効率的なメカニズムを使用する。シーケンス長が$1,024$Kにスケールしても、InfLLMは依然として、長距離依存関係を効果的にキャプチャする。
論文参考訳（メタデータ） (2024-02-07T06:50:42Z)
LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
論文参考訳（メタデータ） (2024-01-02T18:30:51Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。数学的推論とコモンセンス推論の実験を行う。
論文参考訳（メタデータ） (2023-11-22T17:24:21Z)
Link-Context Learning for Multimodal LLMs [40.923816691928536]
リンクコンテキスト学習(LCL)はMLLMの学習能力を高めるために「原因と効果からの推論」を強調する。 LCLは、アナログだけでなく、データポイント間の因果関係も識別するようモデルに導出する。本手法の評価を容易にするため,ISEKAIデータセットを提案する。
論文参考訳（メタデータ） (2023-08-15T17:33:24Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)
Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-08T15:05:16Z)
Auto-MLM: Improved Contrastive Learning for Self-supervised Multi-lingual Knowledge Retrieval [7.73633850933515]
自己教師型多言語知識検索のためのCLとAuto-MLMを組み合わせた共同学習手法を提案する。実験の結果,提案手法は, LAZADAサービスコーパスと8言語で利用可能なオープンコーパスの両方において, 従来のSOTA手法よりも一貫して優れていることがわかった。
論文参考訳（メタデータ） (2022-03-30T10:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。