論文の概要: Concept Based Continuous Prompts for Interpretable Text Classification

• arxiv url: http://arxiv.org/abs/2412.01644v1
• Date: Mon, 02 Dec 2024 15:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:22.642513
• Title: Concept Based Continuous Prompts for Interpretable Text Classification
• Title（参考訳）: 解釈可能なテキスト分類のための概念ベース連続プロンプト
• Authors: Qian Chen, Dongyang Li, Xiaofeng He,
• Abstract要約: 本稿では、連続的なプロンプトを人間可読な概念に分解して解釈する枠組みを提案する。 我々は、GPT-4oを用いて概念プールを生成し、差別的で代表的な潜在的候補概念を選択する。 実験により,本フレームワークは従来のPチューニングや単語ベースアプローチと同じような結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 18.821639956791213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous prompts have become widely adopted for augmenting performance across a wide range of natural language tasks. However, the underlying mechanism of this enhancement remains obscure. Previous studies rely on individual words for interpreting continuous prompts, which lacks comprehensive semantic understanding. Drawing inspiration from Concept Bottleneck Models, we propose a framework for interpreting continuous prompts by decomposing them into human-readable concepts. Specifically, to ensure the feasibility of the decomposition, we demonstrate that a corresponding concept embedding matrix and a coefficient matrix can always be found to replace the prompt embedding matrix. Then, we employ GPT-4o to generate a concept pool and choose potential candidate concepts that are discriminative and representative using a novel submodular optimization algorithm. Experiments demonstrate that our framework can achieve similar results as the original P-tuning and word-based approaches using only a few concepts while providing more plausible results. Our code is available at https://github.com/qq31415926/CD.
• Abstract（参考訳）: 継続的なプロンプトは、幅広い自然言語タスクのパフォーマンス向上に広く採用されている。 しかし、この強化の根底にあるメカニズムはいまだ不明である。 従来の研究では、個々の単語を連続的なプロンプトの解釈に頼っており、包括的な意味理解が欠如している。 本研究では,概念ボトルネックモデルからインスピレーションを得て,それらを人間可読な概念に分解することで,連続的なプロンプトを解釈する枠組みを提案する。 具体的には、分解の可能性を確実にするために、対応する概念埋め込み行列と係数行列を常に発見して、迅速な埋め込み行列を置き換えることを実証する。 そして、GPT-4oを用いて概念プールを生成し、新しい部分モジュラ最適化アルゴリズムを用いて、識別的かつ代表的な潜在的な候補概念を選択する。 実験により,本フレームワークはP-tuningや単語ベースのアプローチと類似した結果が得られた。 私たちのコードは、https://github.com/qq31415926/CDで利用可能です。

関連論文リスト

• Enhancing Zero-Shot Image Recognition in Vision-Language Models through Human-like Concept Guidance [41.6755826072905]
  ゼロショット画像認識タスクでは、人間は目に見えないカテゴリを分類する際、顕著な柔軟性を示す。 既存の視覚言語モデルは、しばしば準最適プロンプトエンジニアリングのため、現実世界のアプリケーションでは性能が劣る。 これらの問題に対処するために,概念誘導型人間ライクなベイズ推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-20T06:20:13Z)
• Distilling Vision-Language Foundation Models: A Data-Free Approach via Prompt Diversification [49.41632476658246]
  我々は、数十億レベルの画像テキストデータセットにアクセスすることなく、DFKDをVision-Language Foundation Modelsに拡張することについて議論する。 目的は,配当に依存しないダウンストリームタスクに対して,与えられたカテゴリ概念を学生モデルにカスタマイズすることである。 本稿では,多様なスタイルで画像合成を促進するために,3つの新しいプロンプト分岐法を提案する。
  論文  参考訳（メタデータ） (2024-07-21T13:26:30Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Conceptual Learning via Embedding Approximations for Reinforcing Interpretability and Transparency [2.7719338074999547]
  解釈可能性が最重要である領域において、概念ボトルネックモデル(CBM)が重要なツールとして出現している。 本研究では、アンダーラインtextbfReinforcecing Interpretability and Transparency に対するアンダーラインtextbfEmbedding UnderlinetextbfApproximations によるアンダーラインtextbfConceptual UnderlinetextbfLbeddingを提案する。
  論文  参考訳（メタデータ） (2024-06-13T06:04:34Z)
• PaCE: Parsimonious Concept Engineering for Large Language Models [57.740055563035256]
  Parsimonious Concept Engineering (PaCE)は、アライメントのための新しいアクティベーションエンジニアリングフレームワークである。 アクティベーション空間において,各原子が意味論的概念に対応する大規模概念辞書を構築する。 本研究では,PaCEが言語能力を維持しつつ,最先端のアライメント性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:59:10Z)
• LLM-based Hierarchical Concept Decomposition for Interpretable Fine-Grained Image Classification [5.8754760054410955]
  構造化概念解析によるモデル解釈可能性の向上を目的とした新しいフレームワークである textttHi-CoDecomposition を紹介する。 われわれのアプローチは、最先端のモデルの性能だけでなく、意思決定プロセスに対する明確な洞察を提供することで透明性を向上する。
  論文  参考訳（メタデータ） (2024-05-29T00:36:56Z)
• ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance [90.57708419344007]
  新しい概念を学ぶ際に, 概念空間を明示的に規制するために, ** 連続保存損失** を利用するテクニックである **ClassDiffusion** を提示する。 このアプローチは単純ではあるが、ターゲット概念の微調整過程における意味的ドリフトを効果的に防止する。
  論文  参考訳（メタデータ） (2024-05-27T17:50:10Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)
• Concept Gradient: Concept-based Interpretation Without Linear Assumption [77.96338722483226]
  概念活性化ベクトル(Concept Activation Vector, CAV)は、与えられたモデルと概念の潜在表現の間の線形関係を学習することに依存する。 我々は、線形概念関数を超えて概念に基づく解釈を拡張する概念グラディエント(CG)を提案した。 我々は、CGがおもちゃの例と実世界のデータセットの両方でCAVより優れていることを実証した。
  論文  参考訳（メタデータ） (2022-08-31T17:06:46Z)
• GlanceNets: Interpretabile, Leak-proof Concept-based Models [23.7625973884849]
  概念ベースモデル(CBM)は、高レベルの概念の語彙の獲得と推論によって、ハイパフォーマンスと解釈可能性を組み合わせる。 我々は、モデル表現と基礎となるデータ生成プロセスとの整合性の観点から、解釈可能性を明確に定義する。 GlanceNetsは不整合表現学習とオープンセット認識の技法を利用してアライメントを実現する新しいCBMである。
  論文  参考訳（メタデータ） (2022-05-31T08:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。