論文の概要: Measuring and Manipulating Knowledge Representations in Language Models

• arxiv url: http://arxiv.org/abs/2304.00740v1
• Date: Mon, 3 Apr 2023 06:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 16:24:49.442076
• Title: Measuring and Manipulating Knowledge Representations in Language Models
• Title（参考訳）: 言語モデルにおける知識表現の測定と操作
• Authors: Evan Hernandez, Belinda Z. Li, Jacob Andreas
• Abstract要約: LMにおける事実知識のクエリと修正のためのアプローチであるREMEDIについて述べる。 REMEDIは、LMの内部表現システムにおいて、テキストクエリから事実エンコーディングへのマップを学習する。
• 参考スコア（独自算出の注目度）: 36.17448195255925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural language models (LMs) represent facts about the world described by text. Sometimes these facts derive from training data (in most LMs, a representation of the word banana encodes the fact that bananas are fruits). Sometimes facts derive from input text itself (a representation of the sentence "I poured out the bottle" encodes the fact that the bottle became empty). Tools for inspecting and modifying LM fact representations would be useful almost everywhere LMs are used: making it possible to update them when the world changes, to localize and remove sources of bias, and to identify errors in generated text. We describe REMEDI, an approach for querying and modifying factual knowledge in LMs. REMEDI learns a map from textual queries to fact encodings in an LM's internal representation system. These encodings can be used as knowledge editors: by adding them to LM hidden representations, we can modify downstream generation to be consistent with new facts. REMEDI encodings can also be used as model probes: by comparing them to LM representations, we can ascertain what properties LMs attribute to mentioned entities, and predict when they will generate outputs that conflict with background knowledge or input text. REMEDI thus links work on probing, prompting, and model editing, and offers steps toward general tools for fine-grained inspection and control of knowledge in LMs.
• Abstract（参考訳）: ニューラルネットワークモデル(lms)は、テキストで記述された世界の事実を表す。 しばしばこれらの事実は訓練データに由来する(ほとんどのlmsではバナナという言葉の表現はバナナが果物であるという事実を象徴している)。 時々、事実は入力テキスト自体に由来する("I poured the bottle"という文の表現は、ボトルが空になったという事実をエンコードしている)。 LMファクト表現の検査と修正を行うツールは、世界が変化した時に更新したり、バイアスのソースをローカライズしたり削除したり、生成されたテキストのエラーを識別したりできる。 LMにおける事実知識のクエリと修正のためのアプローチであるREMEDIについて述べる。 REMEDIは、LMの内部表現システムにおいて、テキストクエリから事実エンコーディングへのマップを学習する。 これらのエンコーディングは知識エディタとして使用できる。lm隠れ表現に追加することで、下流生成を変更でき、新しい事実と一致させることができる。 REMEDIエンコーディングは、モデルプローブとしても使用することができる: LM表現と比較することで、LMが言及したエンティティにどの特性があるかを確認し、背景知識や入力テキストと矛盾する出力を生成するタイミングを予測することができる。 したがって、REMEDIは、探索、プロンプト、モデル編集の研究をリンクし、LMにおける知識のきめ細かい検査と制御のための一般的なツールへのステップを提供する。

関連論文リスト

• ETF: An Entity Tracing Framework for Hallucination Detection in Code Summaries [29.561699707926056]
  大型言語モデル(LLM)は、意図した意味から逸脱する幻覚出力の傾向にある。 コード要約における幻覚検出に特化してキュレートされた$sim$10Kのサンプルを用いたファースト・オブ・ザ・キンドデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-17T19:38:55Z)
• LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations [46.351064535592336]
  大規模言語モデル(LLM)は、事実の不正確さやバイアス、推論失敗など、しばしばエラーを発生させる。 近年の研究では、LLMの内部状態が出力の真偽に関する情報を符号化していることが示されている。 LLMの内部表現は、これまで認識されていた以上の真理性に関する情報を符号化している。
  論文  参考訳（メタデータ） (2024-10-03T17:31:31Z)
• Language Models Encode the Value of Numbers Linearly [28.88044346200171]
  数学の基本要素である数値を言語モデルでエンコードする方法を考察する。 実験結果は,大規模言語モデルにおける符号付き数値の存在を支持する。 我々の研究は、LLMが数値を線形にエンコードする証拠を提供する。
  論文  参考訳（メタデータ） (2024-01-08T08:54:22Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Language Models as Agent Models [42.37422271002712]
  LMは、特定の狭義の意図的なコミュニケーションのモデルである、と私は主張する。 今日の非破壊的かつエラーを起こしやすいモデルでさえ、LMはきめ細かいコミュニケーション意図の表現を推論し、使用します。
  論文  参考訳（メタデータ） (2022-12-03T20:18:16Z)
• Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
  言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。 本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。 本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
  論文  参考訳（メタデータ） (2022-05-05T17:59:31Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。