論文の概要: Challenges with unsupervised LLM knowledge discovery
- arxiv url: http://arxiv.org/abs/2312.10029v1
- Date: Fri, 15 Dec 2023 18:49:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 14:32:34.530212
- Title: Challenges with unsupervised LLM knowledge discovery
- Title(参考訳): 教師なしLLM知識発見への挑戦
- Authors: Sebastian Farquhar, Vikrant Varma, Zachary Kenton, Johannes Gasteiger,
Vladimir Mikulik, Rohin Shah
- Abstract要約: 大規模言語モデル(LLM)アクティベーションにおける既存の教師なし手法が知識を発見できないことを示す。
教師なしの知識推論の背景にある考え方は、知識は、知識を発見するのに使用できる一貫性構造を満たすというものである。
- 参考スコア(独自算出の注目度): 15.816138136030705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that existing unsupervised methods on large language model (LLM)
activations do not discover knowledge -- instead they seem to discover whatever
feature of the activations is most prominent. The idea behind unsupervised
knowledge elicitation is that knowledge satisfies a consistency structure,
which can be used to discover knowledge. We first prove theoretically that
arbitrary features (not just knowledge) satisfy the consistency structure of a
particular leading unsupervised knowledge-elicitation method,
contrast-consistent search (Burns et al. - arXiv:2212.03827). We then present a
series of experiments showing settings in which unsupervised methods result in
classifiers that do not predict knowledge, but instead predict a different
prominent feature. We conclude that existing unsupervised methods for
discovering latent knowledge are insufficient, and we contribute sanity checks
to apply to evaluating future knowledge elicitation methods. Conceptually, we
hypothesise that the identification issues explored here, e.g. distinguishing a
model's knowledge from that of a simulated character's, will persist for future
unsupervised methods.
- Abstract(参考訳): 我々は、大きな言語モデル(LLM)アクティベーションに関する既存の教師なしメソッドが知識を発見せず、アクティベーションのどの特徴が最も顕著であるかを発見できることを示した。
教師なしの知識推論の背景にある考え方は、知識は知識を発見するのに使用できる一貫性構造を満たすというものである。
まず、任意の特徴(単なる知識ではない)が、特定の指導を受けていない知識消去手法、コントラスト一貫性探索(Burns et al. - arXiv:2212.03827)の一貫性構造を満たすことを理論的に証明する。
次に、教師なしのメソッドが知識を予測せず、異なる特徴を予測できる分類器を生成するための設定を示す一連の実験を示す。
我々は,潜在知識を発見するための既存の教師なし手法は不十分であると結論し,将来的な知識の活用方法を評価するための正当性検査に貢献する。
概念的には,ここで検討した識別問題,例えばモデル知識とシミュレーションキャラクタの知識を区別することは,将来の教師なし手法として継続する,と仮定する。
関連論文リスト
- Deciphering Raw Data in Neuro-Symbolic Learning with Provable Guarantees [17.58485742162185]
ニューロシンボリックハイブリッドシステムは、機械学習とシンボリック推論を統合することを約束している。
ハイブリッドシステムが特定のタスクに成功し、いつ異なる知識ベースで失敗するかは、まだ不明である。
本研究では,知識ベースから指導信号を特徴付ける新しい手法を導入し,学習を成功させる上での知識の有効性を決定するための基準を確立する。
論文 参考訳(メタデータ) (2023-08-21T06:04:53Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳(メタデータ) (2023-05-02T17:33:28Z) - Knowledge-augmented Deep Learning and Its Applications: A Survey [60.221292040710885]
知識強化ディープラーニング(KADL)は、ドメイン知識を特定し、それをデータ効率、一般化可能、解釈可能なディープラーニングのためのディープモデルに統合することを目的としている。
本調査は,既存の研究成果を補足し,知識強化深層学習の一般分野における鳥眼研究の展望を提供する。
論文 参考訳(メタデータ) (2022-11-30T03:44:15Z) - Eliciting Knowledge from Large Pre-Trained Models for Unsupervised
Knowledge-Grounded Conversation [45.95864432188745]
大規模事前学習の最近の進歩は、原文から知識を学ぶ可能性のある大きなモデルを提供する。
大規模モデルから最良の知識を引き出す様々な手法を提案する。
私たちの人間による研究は、幻覚はあるものの、大きなモデルは常識を出力できるという独特な利点を誇示していることを示している。
論文 参考訳(メタデータ) (2022-11-03T04:48:38Z) - Causal Imitation Learning with Unobserved Confounders [82.22545916247269]
本研究では,学習者と専門家の感覚入力が異なる場合の模倣学習について検討する。
我々は、専門家の軌跡の量的知識を活用することで、模倣が依然として実現可能であることを示した。
論文 参考訳(メタデータ) (2022-08-12T13:29:53Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳(メタデータ) (2022-06-30T02:35:04Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - Towards Open World Object Detection [68.79678648726416]
ORE: Open World Object Detectorは、対照的なクラスタリングとエネルギーベースの未知の識別に基づいている。
未知のインスタンスの識別と特徴付けは、インクリメンタルなオブジェクト検出設定における混乱を減らすのに役立ちます。
論文 参考訳(メタデータ) (2021-03-03T18:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。