論文の概要: Say What You Mean! Large Language Models Speak Too Positively about Negative Commonsense Knowledge

• arxiv url: http://arxiv.org/abs/2305.05976v1
• Date: Wed, 10 May 2023 08:35:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-11 13:47:10.840955
• Title: Say What You Mean! Large Language Models Speak Too Positively about Negative Commonsense Knowledge
• Title（参考訳）: 何て言うんだ! 大きな言語モデルでは否定的常識の知識が多すぎる
• Authors: Jiangjie Chen, Wei Shi, Ziquan Fu, Sijie Cheng, Lei Li, Yanghua Xiao
• Abstract要約: 大規模言語モデル(LLM)は、肯定的な知識を保存し活用する能力について広く研究されている。 否定的な知識、例えば「イオンは海に生息しない」は、世界でも広く知られているが、テキストで明確に言及されることはめったにない。 本研究は,LLMの負のコモンセンス知識に対する能力について検討する。
• 参考スコア（独自算出の注目度）: 22.543345304998258
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) have been widely studied for their ability to store and utilize positive knowledge. However, negative knowledge, such as "lions don't live in the ocean", is also ubiquitous in the world but rarely mentioned explicitly in the text. What do LLMs know about negative knowledge? This work examines the ability of LLMs to negative commonsense knowledge. We design a constrained keywords-to-sentence generation task (CG) and a Boolean question-answering task (QA) to probe LLMs. Our experiments reveal that LLMs frequently fail to generate valid sentences grounded in negative commonsense knowledge, yet they can correctly answer polar yes-or-no questions. We term this phenomenon the belief conflict of LLMs. Our further analysis shows that statistical shortcuts and negation reporting bias from language modeling pre-training cause this conflict.
• Abstract（参考訳）: 大規模言語モデル(llm)は、ポジティブな知識を蓄積し活用する能力について広く研究されている。 しかし、「lion don't live in the ocean」のような否定的な知識は世界でもユビキタスであるが、テキストで明示的に言及されることは滅多にない。 LLMは負の知識について何を知っているのか? 本研究は,LLMの負のコモンセンス知識に対する能力について検討する。 制約付きキーワード対文生成タスク(CG)とブール質問回答タスク(QA)を設計し,LLMを探索する。 実験の結果,LLMは負のコモンセンス知識に基づく有効な文の生成に失敗することが多いことがわかった。 我々はこの現象をLLMの信念衝突と呼ぶ。 さらなる分析から,言語モデリングの事前学習による統計的近道と否定報告バイアスが,この衝突の原因となることが示された。

関連論文リスト

• Delving into the Reversal Curse: How Far Can Large Language Models Generalize? [40.64539467276017]
  大きな言語モデル(LLM)は、一見自明なタスクに直面しているときに制限を示す。 主要な例として、最近議論された「逆の呪い」があり、これはモデルが「AはBである」という事実に基づいて訓練されたとき、この知識を一般化して「BはAである」と推測するのに苦労している。
  論文  参考訳（メタデータ） (2024-10-24T14:55:09Z)
• AI Meets the Classroom: When Does ChatGPT Harm Learning? [0.0]
  我々は,生成型AI,特に大規模言語モデル(LLM)がプログラミングクラスにおける学習に与える影響について検討する。 LLMの使用が学習結果に肯定的,否定的な影響を及ぼす可能性が3つの研究で示された。
  論文  参考訳（メタデータ） (2024-08-29T17:07:46Z)
• Teaching Large Language Models to Express Knowledge Boundary from Their Own Signals [53.273592543786705]
  大規模言語モデル (LLM) は大きな成功を収めたが、時折そのコンテンツ作成(幻覚)は実用的応用を制限している。 本稿では,まず内部信頼度を用いてLLMの知識境界を探索し,探索結果を利用して知識境界の表現を抽出するCoKEを提案する。
  論文  参考訳（メタデータ） (2024-06-16T10:07:20Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• See the Unseen: Better Context-Consistent Knowledge-Editing by Noises [73.54237379082795]
  知識編集が大規模言語モデル(LLM)の知識を更新 既存の作業はこの特性を無視し、編集には一般化が欠けている。 実験により、異なる文脈がLLMに与える影響は、同じ知識を思い出す際にガウス的な分布に従うことが判明した。
  論文  参考訳（メタデータ） (2024-01-15T09:09:14Z)
• Enabling Large Language Models to Learn from Rules [99.16680531261987]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• Do Large Language Models Know about Facts? [60.501902866946]
  大規模言語モデル(LLM)は、最近、さまざまな自然言語処理タスクにおいて、大幅なパフォーマンス改善を推進している。 我々は,ベンチマークPinocchioを設計し,LLM内の事実知識の範囲と範囲を評価することを目的とする。 Pinocchioには、異なるソース、タイムライン、ドメイン、リージョン、言語にまたがる20万のさまざまな事実質問が含まれている。
  論文  参考訳（メタデータ） (2023-10-08T14:26:55Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Can large language models generate salient negative statements? [18.577880767789097]
  本研究では,大規模言語モデルによる実世界の実体に関する健全な(興味深い)ネガティブなステートメントを生成する能力について検討する。 我々はゼロショットとkショットの制約のないプローブを用いてLSMを探索し、従来の否定生成法と比較した。 異なる領域の被写体に関する生成したリストの正しさと正当性を測定する。
  論文  参考訳（メタデータ） (2023-05-26T09:13:59Z)
• Understanding Causality with Large Language Models: Feasibility and Opportunities [23.68197884888299]
  我々は,大言語モデル(LLM)の強みと弱みを分析し,因果的疑問に答える能力を評価する。 我々は,明示的かつ暗黙的な因果的加群の実現など,今後の方向性や可能性について議論する。
  論文  参考訳（メタデータ） (2023-04-11T22:30:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。