論文の概要: Inspecting and Editing Knowledge Representations in Language Models

• arxiv url: http://arxiv.org/abs/2304.00740v3
• Date: Fri, 9 Aug 2024 22:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 01:18:22.946457
• Title: Inspecting and Editing Knowledge Representations in Language Models
• Title（参考訳）: 言語モデルにおける知識表現の検査と編集
• Authors: Evan Hernandez, Belinda Z. Li, Jacob Andreas,
• Abstract要約: ニューラル言語モデル(英語版)(LM)は、テキストによって記述された世界に関する事実を表す。 本稿では,自然言語におけるステートメントを,LMの内部表現システムにおけるファクトエンコーディングにマッピングする方法であるREMEDIについて述べる。
• 参考スコア（独自算出の注目度）: 49.78108941628512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural language models (LMs) represent facts about the world described by text. Sometimes these facts derive from training data (in most LMs, a representation of the word "banana" encodes the fact that bananas are fruits). Sometimes facts derive from input text itself (a representation of the sentence "I poured out the bottle" encodes the fact that the bottle became empty). We describe REMEDI, a method for learning to map statements in natural language to fact encodings in an LM's internal representation system. REMEDI encodings can be used as knowledge editors: when added to LM hidden representations, they modify downstream generation to be consistent with new facts. REMEDI encodings may also be used as probes: when compared to LM representations, they reveal which properties LMs already attribute to mentioned entities, in some cases making it possible to predict when LMs will generate outputs that conflict with background knowledge or input text. REMEDI thus links work on probing, prompting, and LM editing, and offers steps toward general tools for fine-grained inspection and control of knowledge in LMs.
• Abstract（参考訳）: ニューラル言語モデル(英語版)(LM)は、テキストによって記述された世界に関する事実を表す。 これらの事実はトレーニングデータ(ほとんどのLMではバナナが果物であるという事実を「バナナ」という言葉で表している)に由来することもある。 時々、事実は入力テキスト自体に由来する("I poured the bottle"という文の表現は、ボトルが空になったという事実をエンコードしている)。 本稿では,自然言語におけるステートメントを,LMの内部表現システムにおけるファクトエンコーディングにマッピングする方法であるREMEDIについて述べる。 REMEDIエンコーディングは知識エディタとして使用することができ、LMに隠された表現を追加すると、下流の生成を新しい事実に整合するように修正する。 REMEDIエンコーディングはプローブとしても用いられる: LM表現と比較すると、LMが既に言及されたエンティティに関連付けられているプロパティが明らかになる。 したがって、REMEDIは、探索、プロンプト、およびLM編集の研究をリンクし、LMにおける知識のきめ細かい検査と制御のための一般的なツールへのステップを提供する。

関連論文リスト

• ETF: An Entity Tracing Framework for Hallucination Detection in Code Summaries [29.561699707926056]
  大型言語モデル(LLM)は、意図した意味から逸脱する幻覚出力の傾向にある。 コード要約における幻覚検出に特化してキュレートされた$sim$10Kのサンプルを用いたファースト・オブ・ザ・キンドデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-17T19:38:55Z)
• LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations [46.351064535592336]
  大規模言語モデル(LLM)は、事実の不正確さやバイアス、推論失敗など、しばしばエラーを発生させる。 近年の研究では、LLMの内部状態が出力の真偽に関する情報を符号化していることが示されている。 LLMの内部表現は、これまで認識されていた以上の真理性に関する情報を符号化している。
  論文  参考訳（メタデータ） (2024-10-03T17:31:31Z)
• Language Models Encode the Value of Numbers Linearly [28.88044346200171]
  数学の基本要素である数値を言語モデルでエンコードする方法を考察する。 実験結果は,大規模言語モデルにおける符号付き数値の存在を支持する。 我々の研究は、LLMが数値を線形にエンコードする証拠を提供する。
  論文  参考訳（メタデータ） (2024-01-08T08:54:22Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Language Models as Agent Models [42.37422271002712]
  LMは、特定の狭義の意図的なコミュニケーションのモデルである、と私は主張する。 今日の非破壊的かつエラーを起こしやすいモデルでさえ、LMはきめ細かいコミュニケーション意図の表現を推論し、使用します。
  論文  参考訳（メタデータ） (2022-12-03T20:18:16Z)
• Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
  言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。 本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。 本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
  論文  参考訳（メタデータ） (2022-05-05T17:59:31Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。