論文の概要: Automated Feature Labeling with Token-Space Gradient Descent

• arxiv url: http://arxiv.org/abs/2504.00754v1
• Date: Tue, 01 Apr 2025 13:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:18.744402
• Title: Automated Feature Labeling with Token-Space Gradient Descent
• Title（参考訳）: Token-Space Gradient Descentによる自動特徴ラベル作成
• Authors: Julian Schulz, Seamus Fallows,
• Abstract要約: 本稿では,トークン空間における勾配勾配勾配を用いた特徴ラベル作成手法を提案する。 概念実証実験は、解釈可能な単一トークンラベルへの収束が成功したことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present a novel approach to feature labeling using gradient descent in token-space. While existing methods typically use language models to generate hypotheses about feature meanings, our method directly optimizes label representations by using a language model as a discriminator to predict feature activations. We formulate this as a multi-objective optimization problem in token-space, balancing prediction accuracy, entropy minimization, and linguistic naturalness. Our proof-of-concept experiments demonstrate successful convergence to interpretable single-token labels across diverse domains, including features for detecting animals, mammals, Chinese text, and numbers. Although our current implementation is constrained to single-token labels and relatively simple features, the results suggest that token-space gradient descent could become a valuable addition to the interpretability researcher's toolkit.
• Abstract（参考訳）: 本稿では,トークン空間における勾配勾配勾配を用いた特徴ラベル作成手法を提案する。 既存の手法では,通常,言語モデルを用いて特徴意味に関する仮説を生成するが,言語モデルを用いて特徴の活性化を予測することでラベル表現を直接最適化する。 我々はこれをトークン空間における多目的最適化問題、予測精度のバランス、エントロピー最小化、言語自然性として定式化する。 概念実証実験は、動物、哺乳類、中国語のテキスト、数字など、さまざまな領域にまたがる、解釈可能な単一トークンラベルへの収束性を実証した。 現在の実装はシングルトークンラベルと比較的単純な特徴に制約されているが、トークン空間勾配勾配が解釈可能性研究者のツールキットに付加される可能性があることを示唆している。

関連論文リスト

• Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
  モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。 成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。 勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
  論文  参考訳（メタデータ） (2024-10-07T12:01:32Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Object Recognition as Next Token Prediction [99.40793702627396]
  オブジェクト認識を次のトークン予測として提案する。 その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
  論文  参考訳（メタデータ） (2023-12-04T18:58:40Z)
• Finding Dataset Shortcuts with Grammar Induction [85.47127659108637]
  我々は,NLPデータセットのショートカットの特徴付けと発見に確率文法を用いることを提案する。 具体的には、文脈自由文法を用いて文分類データセットのパターンをモデル化し、同期文脈自由文法を用いて文ペアを含むデータセットをモデル化する。 その結果得られた文法は、単純かつ高レベルの機能を含む、多くのデータセットで興味深いショートカット機能を示す。
  論文  参考訳（メタデータ） (2022-10-20T19:54:11Z)
• Locally Aggregated Feature Attribution on Natural Language Model Understanding [12.233103741197334]
  Locally Aggregated Feature Attribution (LAFA) は、NLPモデルのための新しい勾配に基づく特徴属性法である。 あいまいな参照トークンに頼る代わりに、言語モデル埋め込みから派生した類似参照テキストを集約することで勾配を円滑にする。 評価のために、公開データセット上でのエンティティ認識やセンチメント分析を含む異なるNLPタスクの実験も設計する。
  論文  参考訳（メタデータ） (2022-04-22T18:59:27Z)
• Contrastive Test-Time Adaptation [83.73506803142693]
  本稿では,自己指導型コントラスト学習を活用して特徴学習を支援する新しい手法を提案する。 擬似ラベルをオンラインで作成し、ターゲットのフィーチャースペースに最も近い隣人の間でソフト投票によってそれらを洗練します。 我々の手法であるAdaContrastは、主要なベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-04-21T19:17:22Z)
• How to trust unlabeled data? Instance Credibility Inference for Few-Shot Learning [47.21354101796544]
  本稿では,未ラベルのインスタンスを数発の視覚認識に利用するために,ICI (Instance Credibility Inference) と呼ばれる統計的アプローチを提案する。 擬似ラベル付きインスタンスの信頼性は, それらの付随パラメータの正規化経路に沿ってランク付けし, 最も信頼性の高い擬似ラベル付きインスタンスを拡張ラベル付きインスタンスとして保存する。
  論文  参考訳（メタデータ） (2020-07-15T03:38:09Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。