論文の概要: A Geometric Notion of Causal Probing

• arxiv url: http://arxiv.org/abs/2307.15054v1
• Date: Thu, 27 Jul 2023 17:57:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 13:21:31.184993
• Title: A Geometric Notion of Causal Probing
• Title（参考訳）: 因果探究の幾何学的表記法
• Authors: Cl\'ement Guerner, Anej Svete, Tianyu Liu, Alexander Warstadt, Ryan Cotterell
• Abstract要約: 本稿では,言語モデルの表現空間の部分空間における固有情報の形式的定義を提案する。 部分空間における情報の対実的概念は因果的概念のサブ空間によって最適化されていることを示す。 我々の介入は、少なくとも1つのモデルにおいて、R-LACEで返される部分空間は、生成された単語の概念値を精度良く操作できることを示している。
• 参考スコア（独自算出の注目度）: 106.83526735779316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models rely on real-valued representations of text to make their predictions. These representations contain information learned from the data that the model has trained on, including knowledge of linguistic properties and forms of demographic bias, e.g., based on gender. A growing body of work has considered information about concepts such as these using orthogonal projections onto subspaces of the representation space. We contribute to this body of work by proposing a formal definition of intrinsic information in a subspace of a language model's representation space. We propose a counterfactual approach that avoids the failure mode of spurious correlations (Kumar et al., 2022) by treating components in the subspace and its orthogonal complement independently. We show that our counterfactual notion of information in a subspace is optimizing by an causal concept subspace. Furthermore, this intervention allows us to attempt concept controlled generation by manipulating the value of the conceptual component of a representation. Empirically, we find that R-LACE (Ravfogel et al., 2022) returns a one-dimensional subspace containing roughly half of total concept information under our framework. Our causal controlled intervention shows that, for at least one model, the subspace returned by R-LACE can be used to manipulate the concept value of the generated word with precision.
• Abstract（参考訳）: 大規模言語モデルは、予測を行うためにテキストの実数値表現に依存する。 これらの表現には、モデルが訓練したデータから得た情報が含まれており、言語特性の知識や、性別に基づく人口統計バイアスの形式が含まれる。 増大する仕事体は、表現空間の部分空間への直交射影を用いるような概念に関する情報を考えてきた。 我々は,言語モデルの表現空間の部分空間における内在的情報の形式的定義を提案することにより,この作業に寄与する。 部分空間の成分とその直交補集合を独立に扱うことにより,スプリアス相関(kumar et al., 2022)の失敗モードを回避する反事実的アプローチを提案する。 部分空間における情報の対実的概念は因果的概念のサブ空間によって最適化されていることを示す。 さらに,この介入により,表現の概念成分の値を操作することで,概念制御生成を試みることができる。 経験的に、r-lace (ravfogel et al., 2022) は、我々の枠組みの約半分の概念情報を含む1次元部分空間を返す。 我々の因果制御による介入は、少なくとも1つのモデルにおいて、R-LACEで返される部分空間は、生成された単語の概念値を精度良く操作できることを示している。

関連論文リスト

• LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling [3.9426000822656224]
  より潜在的な空間はより表現力が高く、ベクトル量子化アプローチよりも表現性がよいことを示す。 以上の結果から,VQ手法の真の利点は,潜伏空間の離散化ではなく,潜伏空間の損失圧縮によるものである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-16T08:20:58Z)
• LEACE: Perfect linear concept erasure in closed form [103.61624393221447]
  概念消去は、特定の特徴を表現から削除することを目的としている。 LEAst-squares Concept Erasure (LEACE) は、線形分類器が可能な限り少ない表現で概念を検出することを確実に防止する閉形式手法である。 LEACEを"concept scrubbing"と呼ばれる新しい手法で大規模言語モデルに適用し、ネットワーク内の各層からターゲット概念情報を消去する。
  論文  参考訳（メタデータ） (2023-06-06T16:07:24Z)
• Concept Activation Regions: A Generalized Framework For Concept-Based Explanations [95.94432031144716]
  既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。 そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。 この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
  論文  参考訳（メタデータ） (2022-09-22T17:59:03Z)
• Interpreting Embedding Spaces by Conceptualization [2.620130580437745]
  本稿では,埋め込み空間を理解可能な概念空間に変換することによって,埋め込みを理解する新しい方法を提案する。 本研究では,人間のレーダやLDMをベースとしたレーダを用いた新しい評価手法を考案し,ベクトルが本来の潜伏状態のセマンティクスを実際に表現していることを示す。
  論文  参考訳（メタデータ） (2022-08-22T15:32:17Z)
• Subspace-based Representation and Learning for Phonotactic Spoken Language Recognition [27.268047798971473]
  サブスペースに基づく表現に基づく新しい学習機構を提案する。 音声から隠れた音韻構造を抽出し、言語検証と方言/アクセント識別を行う。 提案手法は, PPR-LM, PPR-VSM, PPR-IVEC法に対して, 52%, 46%, 56%, 27%の相対的誤り率低下を実現した。
  論文  参考訳（メタデータ） (2022-03-28T07:01:45Z)
• Implicit Bias of Projected Subgradient Method Gives Provable Robust Recovery of Subspaces of Unknown Codimension [12.354076490479514]
  本稿では,DPCP (Dual principal Component Pursuit) が未知の部分空間次元の問題を確実に解決できることを示す。 プロジェクテッド・サブ段階降下法(PSGM)の複数インスタンスの実行に基づく,非常に単純なアルゴリズムを提案する。 特に、1)すべての問題インスタンスが部分空間のヌル空間のベクトルに収束し、2)問題インスタンスの解のアンサンブルが、部分空間のヌル空間に完全にまたがるほど十分に多様であることを示す。
  論文  参考訳（メタデータ） (2022-01-22T15:36:03Z)
• Introducing Orthogonal Constraint in Structural Probes [0.2538209532048867]
  言語ベクトル空間の線形射影を同型空間回転と線形スケーリング方向に分解する。 提案手法がマルチタスク環境で実行可能であることを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-30T17:14:25Z)
• Stochastic Linear Bandits with Protected Subspace [51.43660657268171]
  線形目的関数を最適化するが、報酬は未知の部分空間にのみ得られる線形帯域問題の変種について検討する。 特に、各ラウンドでは、学習者は、目的または保護されたサブスペースを、アクションの選択とともにクエリするかどうかを選択する必要がある。 提案アルゴリズムはOFULの原理から導かれるもので,保護された空間を推定するためにクエリのいくつかを利用する。
  論文  参考訳（メタデータ） (2020-11-02T14:59:39Z)
• Joint and Progressive Subspace Analysis (JPSA) with Spatial-Spectral Manifold Alignment for Semi-Supervised Hyperspectral Dimensionality Reduction [48.73525876467408]
  本稿では,超スペクトル部分空間解析のための新しい手法を提案する。 この手法はジョイント・アンド・プログレッシブ・サブスペース分析(JPSA)と呼ばれる。 2つの広帯域超スペクトルデータセットに対して提案したJPSAの優位性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-09-21T16:29:59Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。