論文の概要: RPLKG: Robust Prompt Learning with Knowledge Graph

• arxiv url: http://arxiv.org/abs/2304.10805v2
• Date: Sat, 21 Jun 2025 08:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.10078
• Title: RPLKG: Robust Prompt Learning with Knowledge Graph
• Title（参考訳）: RPLKG: 知識グラフによるロバストなプロンプト学習
• Authors: YongTaek Lim, Yewon Kim, Suho Kang, Dokyung Yoon, KyungWoo Song,
• Abstract要約: CLIPのようなマルチモーダル事前トレーニングモデルでは、さまざまな実験でパフォーマンスが大幅に向上した。 既存の手法はしばしば解釈可能性に欠け、高い計算コストを課す。 本稿では,知識グラフを用いたロバスト・プロンプト学習(RPLKG)を提案する。
• 参考スコア（独自算出の注目度）: 14.531071492983767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pre-trained models surpass in transferability and robust generalization across diverse datasets. The emergence of multimodal pre-trained models like CLIP has significantly boosted performance in various experiments. However, generalizing to new datasets or domains remains challenging, especially with limited labeled data. Also, existing methods often lack interpretability and impose high computational costs. To address this, we propose Robust Prompt Learning with Knowledge Graph (RPLKG), leveraging the knowledge graph to curate diverse, interpretable prompt sets automatically. Our method autonomously selects the optimal interpretable prompt based on dataset characteristics, achieving performance improvements over zero-shot learning and competitive performance compared to various prompt learning methods. Also, RPLKG efficiently reuses cached prompt embeddings from a single model pass and optimizes prompt selection via Gumbel-Softmax, enabling low-memory, fast training. Moreover, RPLKG advances few-shot learning effectiveness while enhancing interpretability and efficiency in model adaptation. Our
• Abstract（参考訳）: 大規模事前学習モデルは、さまざまなデータセット間での転送可能性や堅牢な一般化を超越している。 CLIPのようなマルチモーダル事前訓練モデルが出現すると、様々な実験のパフォーマンスが大幅に向上した。 しかし、新しいデータセットやドメインへの一般化は、特にラベル付きデータでは、依然として困難である。 また、既存の手法は解釈性に欠け、高い計算コストを課すことが多い。 そこで我々は,知識グラフを活用して,多種多様な解釈可能なプロンプトセットを自動的にキュレートするロバスト・プロンプト・ラーニング・ウィズ・ナレッジ・グラフ(RPLKG)を提案する。 提案手法は,データセットの特徴に基づく最適な解釈可能なプロンプトを自律的に選択し,ゼロショット学習と競合性能に比較して性能を向上する。 また、RPLKGは単一のモデルパスからキャッシュされたプロンプト埋め込みを効率的に再利用し、Gumbel-Softmaxを介してプロンプト選択を最適化し、低メモリで高速なトレーニングを可能にする。 さらに、RPLKGは、モデル適応における解釈可能性と効率を高めながら、数発の学習効率を向上する。 我が家

関連論文リスト

• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
  ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。 能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。 私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
  論文  参考訳（メタデータ） (2024-02-23T21:28:59Z)
• Exploring Learning Complexity for Efficient Downstream Dataset Pruning [8.990878450631596]
  既存のデータセットプルーニングメソッドでは、データセット全体のトレーニングが必要になる。 本稿では、DLC(Distorting-based Learning Complexity)という、単純で、新規で、トレーニング不要な難易度スコアを提案する。 本手法は,より高速に学習できるサンプルを少ないパラメータで学習できるという観察結果に動機付けられている。
  論文  参考訳（メタデータ） (2024-02-08T02:29:33Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。