論文の概要: Enriching a Model's Notion of Belief using a Persistent Memory

• arxiv url: http://arxiv.org/abs/2104.08401v1
• Date: Fri, 16 Apr 2021 23:09:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-24 09:54:17.965671
• Title: Enriching a Model's Notion of Belief using a Persistent Memory
• Title（参考訳）: 永続記憶を用いたモデル信念の豊かさ化
• Authors: Nora Kassner, Oyvind Tafjord, Hinrich Schutze, Peter Clark
• Abstract要約: 事前訓練された言語モデル(PTLM)は、調査時に質問に対する一貫性のない回答を生成することができる。 モデルが実際に世界について「信じる」ものを特定するのは難しいかもしれません。 私たちの目標はこの問題を減らすことで、システムはよりグローバルに一貫性があり、回答が正確です。
• 参考スコア（独自算出の注目度）: 20.60798513220516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although pretrained language models (PTLMs) have been shown to contain significant amounts of world knowledge, they can still produce inconsistent answers to questions when probed, even after using specialized training techniques to reduce inconsistency. As a result, it can be hard to identify what the model actually "believes" about the world. Our goal is to reduce this problem, so systems are more globally consistent and accurate in their answers. Our approach is to add a memory component - a BeliefBank - that records a model's answers, and two mechanisms that use it to improve consistency among beliefs. First, a reasoning component - a weighted SAT solver - improves consistency by flipping answers that significantly clash with others. Second, a feedback component re-queries the model but using known beliefs as context. We show that, in a controlled experimental setting, these two mechanisms improve both accuracy and consistency. This is significant as it is a first step towards endowing models with an evolving memory, allowing them to construct a more coherent picture of the world.
• Abstract（参考訳）: 事前訓練された言語モデル (PTLM) には膨大な量の世界知識が含まれていることが示されているが, 特殊な訓練手法を用いて不整合を減らした後でも, 質問に対して不整合な回答を得られる。 その結果、モデルが実際に世界について「信じている」ものを特定することは困難である。 私たちの目標はこの問題を減らすことで、システムはよりグローバルに一貫性があり、回答が正確です。 私たちのアプローチは、モデルの回答を記録するメモリコンポーネント(BeliefBank)と、それを使って信念間の一貫性を改善する2つのメカニズムを追加することです。 第一に、推論コンポーネント(重み付けSATソルバ)は、他のものと大きく衝突する回答をひっくり返すことで一貫性を向上させる。 第二に、フィードバックコンポーネントはモデルを再クエリするが、既知の信念をコンテキストとして使用する。 制御された実験環境では、これらの2つのメカニズムが精度と一貫性の両方を改善していることを示す。 これは、進化するメモリでモデルを実現するための第一歩であり、より一貫性のある世界像を構築することができるため、重要である。

関連論文リスト

• Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
  本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。 実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
  論文  参考訳（メタデータ） (2024-11-20T17:55:38Z)
• Can Large Language Models Always Solve Easy Problems if They Can Solve Harder Ones? [65.43882564649721]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも矛盾する問題に悩まされている。 我々はConsisEvalベンチマークを開発し、各エントリは厳密な難易度で2つの質問から構成される。 相対的整合性スコアによる整合性向上の可能性を分析する。
  論文  参考訳（メタデータ） (2024-06-18T17:25:47Z)
• Language Models with Rationality [57.37201135072838]
  大規模言語モデル(LLM)は質問応答(QA)に熟練している 答えが潜んでいる「信条」からどのように従うか(あるいはたとえも)は必ずしも明確ではない。
  論文  参考訳（メタデータ） (2023-05-23T17:04:25Z)
• Entailer: Answering Questions with Faithful and Truthful Chains of Reasoning [26.715242799194908]
  質問応答システムは、体系的な推論の連鎖を通して、その答えが自身の内的信念によってどのように示唆されるかを示す。 我々のアプローチは、トレーニングされた後方チェーンモデルで、回答仮説を含む一連の前提を生成することができ、モデル自体がそれらの前提を信じることを確認する検証器を組み合わせることです。 私たちの知る限りでは、これは多段階連鎖を生成できる最初のシステムであり、それは忠実であり(その答えは推論から従う)、真実である(連鎖はシステムの内部の信念を反映している)。
  論文  参考訳（メタデータ） (2022-10-21T19:51:56Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)
• Towards Teachable Reasoning Systems [29.59387051046722]
  質問応答のための授業可能な推論システム(QA)を開発した。 私たちのアプローチは3つあります。 まず、生成された推論の連鎖は、システムの内部の信念によってどのように答えが示唆されるかを示しています。 第二に、ユーザーは説明と対話して誤ったモデル信念を特定し、修正を行うことができる。 第3に、そのような補正の動的なメモリでモデルを増強する。
  論文  参考訳（メタデータ） (2022-04-27T17:15:07Z)
• Do Language Models Have Beliefs? Methods for Detecting, Updating, and Visualizing Model Beliefs [76.6325846350907]
  Dennett (1995) は、サーモスタットでさえ、信念は単なる情報状態であり、モチベーションのある状態とは切り離されているという観点から、信念を持っていると論じている。 本稿では,モデルが世界に対する信念をいつ持っているかを検出するためのアプローチについて論じるとともに,モデル信念をより誠実に更新する方法の改善について述べる。
  論文  参考訳（メタデータ） (2021-11-26T18:33:59Z)
• BeliefBank: Adding Memory to a Pre-Trained Language Model for a Systematic Notion of Belief [20.60798513220516]
  モデルが実際に世界について何を「信じる」のかを特定することは困難であり、一貫性のない振る舞いや単純なエラーの影響を受けやすい。 我々のアプローチは、PTLMを進化し、シンボリックな信仰記憶を含むより広いシステムに組み込むことです。 制御された実験環境では、これらの2つのメカニズムがシステム全体においてより一貫した信念をもたらすことが示される。
  論文  参考訳（メタデータ） (2021-09-29T21:04:27Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。