Fugu-MT 論文翻訳(概要): RPLKG: Robust Prompt Learning with Knowledge Graph

論文の概要: RPLKG: Robust Prompt Learning with Knowledge Graph

arxiv url: http://arxiv.org/abs/2304.10805v1
Date: Fri, 21 Apr 2023 08:22:58 GMT
ステータス: 処理完了
システム内更新日: 2023-04-24 15:31:20.429566
Title: RPLKG: Robust Prompt Learning with Knowledge Graph
Title（参考訳）: RPLKG: 知識グラフによるロバストなプロンプト学習
Authors: Yewon Kim, YongTaek Lim, Dokyung Yoon and KyungWoo Song
Abstract要約: 知識グラフ(RPLKG)を用いた頑健な学習手法を提案する。知識グラフに基づいて,多種多様な解釈可能かつ有意義なプロンプトセットを自動設計する。 RPLKGはゼロショット学習に比べてパフォーマンスが大幅に向上した。
参考スコア（独自算出の注目度）: 11.893917358053004
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large-scale pre-trained models have been known that they are transferable, and they generalize well on the unseen dataset. Recently, multimodal pre-trained models such as CLIP show significant performance improvement in diverse experiments. However, when the labeled dataset is limited, the generalization of a new dataset or domain is still challenging. To improve the generalization performance on few-shot learning, there have been diverse efforts, such as prompt learning and adapter. However, the current few-shot adaptation methods are not interpretable, and they require a high computation cost for adaptation. In this study, we propose a new method, robust prompt learning with knowledge graph (RPLKG). Based on the knowledge graph, we automatically design diverse interpretable and meaningful prompt sets. Our model obtains cached embeddings of prompt sets after one forwarding from a large pre-trained model. After that, model optimizes the prompt selection processes with GumbelSoftmax. In this way, our model is trained using relatively little memory and learning time. Also, RPLKG selects the optimal interpretable prompt automatically, depending on the dataset. In summary, RPLKG is i) interpretable, ii) requires small computation resources, and iii) easy to incorporate prior human knowledge. To validate the RPLKG, we provide comprehensive experimental results on few-shot learning, domain generalization and new class generalization setting. RPLKG shows a significant performance improvement compared to zero-shot learning and competitive performance against several prompt learning methods using much lower resources.
Abstract（参考訳）: 大規模な事前学習モデルは転送可能であることが知られており、目に見えないデータセットでよく一般化されている。近年,クリップなどのマルチモーダル事前学習モデルが様々な実験において有意な性能向上を示した。しかし、ラベル付きデータセットが限定されている場合、新しいデータセットやドメインの一般化は依然として難しい。単発学習の一般化性能を向上させるため、プロンプト学習やアダプタなど、さまざまな取り組みがなされている。しかし、現在の数発適応法は解釈不可能であり、適応には高い計算コストが必要となる。本研究では,知識グラフ(RPLKG)を用いた頑健な学習手法を提案する。知識グラフに基づいて,多種多様な解釈可能かつ有意義なプロンプトセットを自動設計する。我々のモデルは、大きな事前学習モデルから1回のフォワード後のプロンプトセットのキャッシュ埋め込みを得る。その後、モデルはGumbelSoftmaxでプロンプト選択プロセスを最適化する。このようにして、モデルは比較的少ないメモリと学習時間でトレーニングされます。また、RPLKGはデータセットに応じて最適な解釈可能なプロンプトを自動的に選択する。まとめると、RPLKGは i) 解釈可能な二少額の計算資源を必要とし、かつ三事前の人間の知識を取り入れやすいこと。 rplkgの有効性を検証するため,少人数学習,ドメイン一般化,新しいクラス一般化設定に関する総合的な実験結果を提供する。 rplkgは、ゼロショット学習に比べて大きなパフォーマンス向上を示し、より低いリソースを用いたいくつかのプロンプト学習方法に対する競合性を示している。

関連論文リスト

Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
論文参考訳（メタデータ） (2024-10-22T17:45:47Z)
Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
論文参考訳（メタデータ） (2024-08-29T12:34:01Z)
Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
論文参考訳（メタデータ） (2024-02-23T21:28:59Z)
Exploring Learning Complexity for Efficient Downstream Dataset Pruning [8.990878450631596]
既存のデータセットプルーニングメソッドでは、データセット全体のトレーニングが必要になる。本稿では、DLC(Distorting-based Learning Complexity)という、単純で、新規で、トレーニング不要な難易度スコアを提案する。本手法は,より高速に学習できるサンプルを少ないパラメータで学習できるという観察結果に動機付けられている。
論文参考訳（メタデータ） (2024-02-08T02:29:33Z)
Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文参考訳（メタデータ） (2023-11-16T10:42:58Z)
GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文参考訳（メタデータ） (2023-11-16T06:28:05Z)
Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文参考訳（メタデータ） (2023-06-25T02:39:19Z)
CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文参考訳（メタデータ） (2022-02-11T13:49:51Z)
Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文参考訳（メタデータ） (2021-04-07T10:54:51Z)
Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
論文参考訳（メタデータ） (2020-10-07T17:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。