論文の概要: Sparse Autoencoders for Hypothesis Generation

• arxiv url: http://arxiv.org/abs/2502.04382v1
• Date: Wed, 05 Feb 2025 18:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:59:13.715903
• Title: Sparse Autoencoders for Hypothesis Generation
• Title（参考訳）: 仮説生成のためのスパースオートエンコーダ
• Authors: Rajiv Movva, Kenny Peng, Nikhil Garg, Jon Kleinberg, Emma Pierson,
• Abstract要約: hypotheSAEsはテキストデータ(例:見出し)とターゲット変数(例:クリック)の関係を仮説化する方法である。 テキスト埋め込みでスパースオートエンコーダを訓練し、データ分布を記述する解釈可能な特徴を生成する。 対象変数を予測する機能を選択し,(3)各特徴の自然言語解釈を生成する。
• 参考スコア（独自算出の注目度）: 1.5450225594635711
• License:
• Abstract: We describe HypotheSAEs, a general method to hypothesize interpretable relationships between text data (e.g., headlines) and a target variable (e.g., clicks). HypotheSAEs has three steps: (1) train a sparse autoencoder on text embeddings to produce interpretable features describing the data distribution, (2) select features that predict the target variable, and (3) generate a natural language interpretation of each feature (e.g., "mentions being surprised or shocked") using an LLM. Each interpretation serves as a hypothesis about what predicts the target variable. Compared to baselines, our method better identifies reference hypotheses on synthetic datasets (at least +0.06 in F1) and produces more predictive hypotheses on real datasets (~twice as many significant findings), despite requiring 1-2 orders of magnitude less compute than recent LLM-based methods. HypotheSAEs also produces novel discoveries on two well-studied tasks: explaining partisan differences in Congressional speeches and identifying drivers of engagement with online headlines.
• Abstract（参考訳）: 本稿では,テキストデータ(例,見出し)と対象変数(例,クリック)の解釈可能な関係を仮説化する方法であるHypotheSAEsについて述べる。 仮説SAEは,(1)テキスト埋め込みにスパースオートエンコーダを訓練し,データ分布を記述する解釈可能な特徴を生成すること,(2)対象変数を予測する特徴を選択すること,(3)LLMを用いて各特徴の自然言語解釈を生成すること,の3つのステップを有する。 それぞれの解釈は、ターゲット変数を予測するものについての仮説として機能する。 ベースラインと比較して,本手法は合成データセットの参照仮説(少なくとも+0.06 in F1)をよりよく同定し,最近のLCM法よりも1～2桁少ない計算量を必要とするにもかかわらず,実データセットの予測仮説(〜2倍)を導出する。 hypotheSAEsはまた、議会演説における党派的な違いを説明し、オンラインの見出しでエンゲージメントのドライバーを特定するという、2つのよく研究されたタスクに関する新しい発見を生み出している。

関連論文リスト

• Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
  話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。 階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
  論文  参考訳（メタデータ） (2024-10-21T14:42:37Z)
• Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
  自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。 カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。 本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-27T15:13:06Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Hypothesis Generation with Large Language Models [28.73562677221476]
  データに基づく仮説生成(ラベル付き例)に焦点を当てる。 マルチアームの盗賊にインスパイアされた我々は、更新プロセスにおけるエクスプロイト探索のトレードオフを通知する報酬関数を設計する。 我々のアルゴリズムは、分類タスクにおいて、数発のプロンプトよりもずっと優れた予測性能を実現する仮説を生成することができる。
  論文  参考訳（メタデータ） (2024-04-05T18:00:07Z)
• A Hypothesis-Driven Framework for the Analysis of Self-Rationalising Models [0.8702432681310401]
  我々はベイジアンネットワークを用いて、タスクの解決方法に関する仮説を実装している。 結果のモデルはGPT-3.5と強い類似性は示さない。 今後の作業において、LCM決定をよりよく近似するフレームワークの可能性だけでなく、これの意味についても論じる。
  論文  参考訳（メタデータ） (2024-02-07T12:26:12Z)
• Estimation of embedding vectors in high dimensions [10.55292041492388]
  我々は、いくつかの「真」だが未知の埋め込みが存在する離散データに対する単純な確率モデルを考える。 このモデルでは、埋め込みは低ランク近似メッセージパッシング(AMP)法の変種によって学習できることが示されている。 提案手法は, 合成データと実テキストデータの両方のシミュレーションにより検証した。
  論文  参考訳（メタデータ） (2023-12-12T23:41:59Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
  本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。 従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。 パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
  論文  参考訳（メタデータ） (2023-09-06T05:19:41Z)
• Diversify and Disambiguate: Learning From Underspecified Data [76.67228314592904]
  DivDisは、テストディストリビューションからラベルのないデータを活用することで、タスクに対するさまざまな仮説のコレクションを学ぶフレームワークである。 我々はDivDisが画像分類や自然言語処理問題において頑健な特徴を用いた仮説を見つける能力を示す。
  論文  参考訳（メタデータ） (2022-02-07T18:59:06Z)
• Perturbing Inputs for Fragile Interpretations in Deep Natural Language Processing [18.91129968022831]
  解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。 本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
  論文  参考訳（メタデータ） (2021-08-11T02:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。