論文の概要: The Complexity of Learning Sparse Superposed Features with Feedback

• arxiv url: http://arxiv.org/abs/2502.05407v2
• Date: Tue, 11 Feb 2025 06:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:49.892234
• Title: The Complexity of Learning Sparse Superposed Features with Feedback
• Title（参考訳）: フィードバックを伴うスパース重畳された特徴の学習の複雑さ
• Authors: Akash Kumar,
• Abstract要約: モデルの基本となる学習特徴がエージェントからのフィードバックによって効率的に検索できるかどうかを検討する。 スパース設定で特徴行列を学習する際のフィードバックの複雑さを解析する。 この結果は,エージェントがアクティベーションを構築し,スパースシナリオにおいて強い上限を示すことを許された場合に,厳密な境界を確立する。
• 参考スコア（独自算出の注目度）: 0.9838799448847586
• License:
• Abstract: The success of deep networks is crucially attributed to their ability to capture latent features within a representation space. In this work, we investigate whether the underlying learned features of a model can be efficiently retrieved through feedback from an agent, such as a large language model (LLM), in the form of relative \textit{triplet comparisons}. These features may represent various constructs, including dictionaries in LLMs or components of a covariance matrix of Mahalanobis distances. We analyze the feedback complexity associated with learning a feature matrix in sparse settings. Our results establish tight bounds when the agent is permitted to construct activations and demonstrate strong upper bounds in sparse scenarios when the agent's feedback is limited to distributional information. We validate our theoretical findings through experiments on two distinct applications: feature recovery from Recursive Feature Machine-trained models and dictionary extraction from sparse autoencoders trained on Large Language Models.
• Abstract（参考訳）: ディープ・ネットワークの成功は、表現空間内で潜伏する特徴をキャプチャする能力に起因する。 本研究では,大規模言語モデル (LLM) などのエージェントからのフィードバックを,相対的 textit{triplet comparisons {\displaystyle \textit{triplet comparisons} の形で,モデルの基本となる学習特徴が効率的に検索できるかどうかを検討する。 これらの特徴は、LLMの辞書やマハラノビス距離の共分散行列の成分など、様々な構成を表わすことができる。 スパース設定で特徴行列を学習する際のフィードバックの複雑さを解析する。 その結果,エージェントのフィードバックが分布情報に制限された場合,エージェントがアクティベーションを構築し,スパースシナリオにおいて強い上限を示すことができれば,厳密な境界が確立される。 我々は,再帰的特徴機械訓練モデルからの特徴回復と,大規模言語モデルで訓練されたスパースオートエンコーダからの辞書抽出という,2つの異なる応用実験を通じて理論的知見を検証する。

関連論文リスト

• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• Multi-annotator Deep Learning: A Probabilistic Framework for Classification [2.445702550853822]
  標準的なディープニューラルネットワークのトレーニングは、マルチアノテーションによる教師付き学習設定におけるサブパーパフォーマンスにつながる。 マルチアノテーション深層学習(MaDL)という確率的学習フレームワークを提案することでこの問題に対処する。 モジュラーネットワークアーキテクチャは、アノテータのパフォーマンスに関する様々な仮定を可能にする。 以上の結果から,MADLの最先端性能と,関連性のあるスパムアノテータに対する堅牢性が確認された。
  論文  参考訳（メタデータ） (2023-04-05T16:00:42Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Modeling Multi-Granularity Hierarchical Features for Relation Extraction [26.852869800344813]
  本稿では,原文のみに基づく多粒度特徴抽出手法を提案する。 外部知識を必要とせずに,効果的な構造的特徴が達成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-09T09:44:05Z)
• A Framework to Learn with Interpretation [2.3741312212138896]
  本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。 我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。 学習した機能を視覚化する詳細なパイプラインも開発されている。
  論文  参考訳（メタデータ） (2020-10-19T09:26:28Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• A Convolutional Deep Markov Model for Unsupervised Speech Representation Learning [32.59760685342343]
  確率的潜在変数モデルは、音声からの言語表現学習のための自己教師付き学習アプローチの代替を提供する。 本研究では,深いニューラルネットワークによってモデル化された非線形放出と遷移関数を持つガウス状態空間モデルであるConvDMMを提案する。 大規模音声データセット(LibriSpeech)で訓練すると、ConvDMMは複数の自己教師付き特徴抽出法よりもはるかに優れた特徴を生成する。
  論文  参考訳（メタデータ） (2020-06-03T21:50:20Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。