論文の概要: A Geometric Notion of Causal Probing

• arxiv url: http://arxiv.org/abs/2307.15054v4
• Date: Wed, 26 Mar 2025 16:33:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:18:24.068587
• Title: A Geometric Notion of Causal Probing
• Title（参考訳）: 因果探究の幾何学的表記法
• Authors: Clément Guerner, Tianyu Liu, Anej Svete, Alexander Warstadt, Ryan Cotterell,
• Abstract要約: 線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
• 参考スコア（独自算出の注目度）: 85.49839090913515
• License:
• Abstract: The linear subspace hypothesis (Bolukbasi et al., 2016) states that, in a language model's representation space, all information about a concept such as verbal number is encoded in a linear subspace. Prior work has relied on auxiliary classification tasks to identify and evaluate candidate subspaces that might give support for this hypothesis. We instead give a set of intrinsic criteria which characterize an ideal linear concept subspace and enable us to identify the subspace using only the language model distribution. Our information-theoretic framework accounts for spuriously correlated features in the representation space (Kumar et al., 2022) by reconciling the statistical notion of concept information and the geometric notion of how concepts are encoded in the representation space. As a byproduct of this analysis, we hypothesize a causal process for how a language model might leverage concepts during generation. Empirically, we find that linear concept erasure is successful in erasing most concept information under our framework for verbal number as well as some complex aspect-level sentiment concepts from a restaurant review dataset. Our causal intervention for controlled generation shows that, for at least one concept across two languages models, the concept subspace can be used to manipulate the concept value of the generated word with precision.
• Abstract（参考訳）: 線形部分空間仮説 (Bolukbasi et al , 2016) は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 以前の研究は、この仮説を支持する可能性がある候補部分空間を特定し評価するために、補助的な分類タスクに依存していた。 代わりに、理想的な線形概念部分空間を特徴付ける固有の基準のセットを与え、言語モデル分布のみを用いて部分空間を識別できるようにする。 我々の情報理論フレームワークは、概念情報の統計的概念と表現空間における概念のエンコード方法の幾何学的概念を整合させることにより、表現空間(Kumar et al , 2022)における突発的に相関した特徴を説明できる。 この分析の副産物として、言語モデルが生成時に概念をどのように活用するかの因果過程を仮説化する。 経験的に、線形概念消去は、レストランレビューデータセットからの複雑なアスペクトレベルの感情概念と同様に、我々の言語数に関する枠組みの下で、ほとんどの概念情報を消去することに成功している。 制御された生成に対する因果的介入は、2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースが生成した単語の概念値を精度良く操作できることを示している。

関連論文リスト

• LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling [3.9426000822656224]
  より潜在的な空間はより表現力が高く、ベクトル量子化アプローチよりも表現性がよいことを示す。 以上の結果から,VQ手法の真の利点は,潜伏空間の離散化ではなく,潜伏空間の損失圧縮によるものである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-16T08:20:58Z)
• LEACE: Perfect linear concept erasure in closed form [103.61624393221447]
  概念消去は、特定の特徴を表現から削除することを目的としている。 LEAst-squares Concept Erasure (LEACE) は、線形分類器が可能な限り少ない表現で概念を検出することを確実に防止する閉形式手法である。 LEACEを"concept scrubbing"と呼ばれる新しい手法で大規模言語モデルに適用し、ネットワーク内の各層からターゲット概念情報を消去する。
  論文  参考訳（メタデータ） (2023-06-06T16:07:24Z)
• Concept Activation Regions: A Generalized Framework For Concept-Based Explanations [95.94432031144716]
  既存の手法では、概念を説明する例は、ディープニューラルネットワークの潜伏空間の一定の方向にマッピングされていると仮定している。 そこで本研究では,DNNの潜在空間において,異なるクラスタに分散した概念例を提案する。 この概念活性化領域(CAR)は、グローバルな概念に基づく説明と局所的な概念に基づく特徴の重要性をもたらす。
  論文  参考訳（メタデータ） (2022-09-22T17:59:03Z)
• Interpreting Embedding Spaces by Conceptualization [2.620130580437745]
  本稿では,埋め込み空間を理解可能な概念空間に変換することによって,埋め込みを理解する新しい方法を提案する。 本研究では,人間のレーダやLDMをベースとしたレーダを用いた新しい評価手法を考案し,ベクトルが本来の潜伏状態のセマンティクスを実際に表現していることを示す。
  論文  参考訳（メタデータ） (2022-08-22T15:32:17Z)
• Subspace-based Representation and Learning for Phonotactic Spoken Language Recognition [27.268047798971473]
  サブスペースに基づく表現に基づく新しい学習機構を提案する。 音声から隠れた音韻構造を抽出し、言語検証と方言/アクセント識別を行う。 提案手法は, PPR-LM, PPR-VSM, PPR-IVEC法に対して, 52%, 46%, 56%, 27%の相対的誤り率低下を実現した。
  論文  参考訳（メタデータ） (2022-03-28T07:01:45Z)
• Implicit Bias of Projected Subgradient Method Gives Provable Robust Recovery of Subspaces of Unknown Codimension [12.354076490479514]
  本稿では,DPCP (Dual principal Component Pursuit) が未知の部分空間次元の問題を確実に解決できることを示す。 プロジェクテッド・サブ段階降下法(PSGM)の複数インスタンスの実行に基づく,非常に単純なアルゴリズムを提案する。 特に、1)すべての問題インスタンスが部分空間のヌル空間のベクトルに収束し、2)問題インスタンスの解のアンサンブルが、部分空間のヌル空間に完全にまたがるほど十分に多様であることを示す。
  論文  参考訳（メタデータ） (2022-01-22T15:36:03Z)
• Introducing Orthogonal Constraint in Structural Probes [0.2538209532048867]
  言語ベクトル空間の線形射影を同型空間回転と線形スケーリング方向に分解する。 提案手法がマルチタスク環境で実行可能であることを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-30T17:14:25Z)
• Stochastic Linear Bandits with Protected Subspace [51.43660657268171]
  線形目的関数を最適化するが、報酬は未知の部分空間にのみ得られる線形帯域問題の変種について検討する。 特に、各ラウンドでは、学習者は、目的または保護されたサブスペースを、アクションの選択とともにクエリするかどうかを選択する必要がある。 提案アルゴリズムはOFULの原理から導かれるもので,保護された空間を推定するためにクエリのいくつかを利用する。
  論文  参考訳（メタデータ） (2020-11-02T14:59:39Z)
• Joint and Progressive Subspace Analysis (JPSA) with Spatial-Spectral Manifold Alignment for Semi-Supervised Hyperspectral Dimensionality Reduction [48.73525876467408]
  本稿では,超スペクトル部分空間解析のための新しい手法を提案する。 この手法はジョイント・アンド・プログレッシブ・サブスペース分析(JPSA)と呼ばれる。 2つの広帯域超スペクトルデータセットに対して提案したJPSAの優位性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-09-21T16:29:59Z)
• APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
  本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。 適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。 言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
  論文  参考訳（メタデータ） (2020-04-30T19:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。