論文の概要: Cluster-norm for Unsupervised Probing of Knowledge

• arxiv url: http://arxiv.org/abs/2407.18712v1
• Date: Fri, 26 Jul 2024 12:57:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 13:30:50.915727
• Title: Cluster-norm for Unsupervised Probing of Knowledge
• Title（参考訳）: 教師なし知識探索のためのクラスタノルム
• Authors: Walter Laurito, Sharan Maiya, Grégoire Dhimoïla, Owen, Yeung, Kaarel Hänni,
• Abstract要約: 本稿では,クラスタ正規化手法を提案する。 干渉の中で意図した知識を識別する、教師なしのプローブの能力を大幅に改善する。
• 参考スコア（独自算出の注目度）: 0.5183511047901651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The deployment of language models brings challenges in generating reliable information, especially when these models are fine-tuned using human preferences. To extract encoded knowledge without (potentially) biased human labels, unsupervised probing techniques like Contrast-Consistent Search (CCS) have been developed (Burns et al., 2022). However, salient but unrelated features in a given dataset can mislead these probes (Farquhar et al., 2023). Addressing this, we propose a cluster normalization method to minimize the impact of such features by clustering and normalizing activations of contrast pairs before applying unsupervised probing techniques. While this approach does not address the issue of differentiating between knowledge in general and simulated knowledge - a major issue in the literature of latent knowledge elicitation (Christiano et al., 2021) - it significantly improves the ability of unsupervised probes to identify the intended knowledge amidst distractions.
• Abstract（参考訳）: 言語モデルの展開は、信頼性のある情報を生成する上での課題をもたらします。 人間のラベルをバイアスなく(潜在的に)抽出するために、Contrast-Consistent Search (CCS)のような教師なし探索技術が開発されている(Burns et al , 2022)。 しかし、与えられたデータセットの健全だが無関係な特徴はこれらのプローブを誤解させる可能性がある(Farquhar et al , 2023)。 そこで本研究では、クラスタリングとコントラストペアのアクティベーションの正規化により、教師なしのプローブ技術を適用する前に、そのような特徴の影響を最小限に抑えるクラスタ正規化手法を提案する。 このアプローチは、一般知識と模擬知識の差別化の問題(Christiano et al , 2021)に対処するものではないが、意図された知識を気晴らしの中で識別するための教師なしプローブの能力を大幅に改善する。

関連論文リスト

• Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning [2.515417765496967]
  制御可能なインテント発見(CDI)フレームワークドメインと事前知識は、教師なしのコントラスト学習のシーケンスを用いて組み込まれている。 このディープ・クラスタリング・プロセスが、どのようにしてヒューマン・イン・ザ・ループによる漸進的な発見戦略の一部となるかを示す。
  論文  参考訳（メタデータ） (2024-10-18T07:24:02Z)
• Anomaly Detection by Context Contrasting [57.695202846009714]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。 我々はコンテキスト拡張を通じて学習するCon$を提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• Detecting Spurious Correlations via Robust Visual Concepts in Real and AI-Generated Image Classification [12.992095539058022]
  本稿では,潜在的スパイラル相関を効率的に検出する汎用手法を提案する。 提案手法は,ピクセルレベルのアノテーションを不要にしつつ,直感的な説明を提供する。 また,本手法は,生成モデル由来の下流アプリケーションに伝播する急激な相関を検出するのにも適している。
  論文  参考訳（メタデータ） (2023-11-03T01:12:35Z)
• On the Universal Adversarial Perturbations for Efficient Data-free Adversarial Detection [55.73320979733527]
  本稿では,UAPに対して正常サンプルと逆サンプルの異なる応答を誘導する,データに依存しない逆検出フレームワークを提案する。 実験結果から,本手法は様々なテキスト分類タスクにおいて,競合検出性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-27T02:54:07Z)
• Beyond the Prior Forgery Knowledge: Mining Critical Clues for General Face Forgery Detection [61.74632676703288]
  本稿では,様々なバックボーンを柔軟に組立てて一般化と性能を向上させる,新しいクリティカルフォージェリーマイニングフレームワークを提案する。 具体的には,まず,従来の知識に依存しないデータ拡張を通じて,細粒度三重項を構築し,特定の偽の痕跡を抑える。 そこで我々は,例えば,局所的類似性を意識した損失を通じて,偽造の重要情報をマイニングする,きめ細かな関係学習プロトタイプを提案する。
  論文  参考訳（メタデータ） (2023-04-24T23:02:27Z)
• Principled Knowledge Extrapolation with GANs [92.62635018136476]
  我々は,知識外挿の新たな視点から,対実合成を研究する。 本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。 提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
  論文  参考訳（メタデータ） (2022-05-21T08:39:42Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Anomaly Detection by Recombining Gated Unsupervised Experts [0.0]
  本稿では,ARGUEと呼ばれる新しいデータ駆動型異常検出手法を提案する。 本手法は, 教師なし環境や半教師付き環境に適用できるだけでなく, 自己教師付き環境の事前知識から利益を得ることができる。
  論文  参考訳（メタデータ） (2020-08-31T17:35:57Z)
• Using Ensemble Classifiers to Detect Incipient Anomalies [12.947364178385637]
  先天異常は重篤な症状よりも軽度の症状を呈する。 これらの異常は、容易に通常の動作条件と誤認することができる。 そこで本研究では,アンサンブル学習手法により,初期異常に対する性能の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2020-08-20T00:00:39Z)
• Improving Face Recognition by Clustering Unlabeled Faces in the Wild [77.48677160252198]
  極値理論に基づく新しいアイデンティティ分離法を提案する。 重なり合うラベルノイズによる問題を大幅に低減する。 制御された設定と実際の設定の両方の実験は、我々のメソッドの一貫性のある改善を示している。
  論文  参考訳（メタデータ） (2020-07-14T12:26:50Z)
• Unique properties of adversarially trained linear classifiers on Gaussian data [13.37805637358556]
  対人学習研究コミュニティは 対人摂動の根本原因を理解するために 顕著な進歩を遂げています 現実のデータセットに洞察が移ることを期待して、単純な問題に対する逆向きに頑健な学習理論を開発することが一般的である。 特に線形分類器を用いて、任意のレベルの逆汚職の下でガウスデータの二項分類問題を解くことは常に可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-06T14:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。