論文の概要: Navigating the Grey Area: How Expressions of Uncertainty and
Overconfidence Affect Language Models
- arxiv url: http://arxiv.org/abs/2302.13439v2
- Date: Mon, 13 Nov 2023 18:10:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 22:31:52.163494
- Title: Navigating the Grey Area: How Expressions of Uncertainty and
Overconfidence Affect Language Models
- Title(参考訳): グレーエリアをナビゲートする:不確かさと過信表現が言語モデルに与える影響
- Authors: Kaitlyn Zhou, Dan Jurafsky, Tatsunori Hashimoto
- Abstract要約: LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。
その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。
これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
- 参考スコア(独自算出の注目度): 74.07684768317705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increased deployment of LMs for real-world tasks involving knowledge and
facts makes it important to understand model epistemology: what LMs think they
know, and how their attitudes toward that knowledge are affected by language
use in their inputs. Here, we study an aspect of model epistemology: how
epistemic markers of certainty, uncertainty, or evidentiality like "I'm sure
it's", "I think it's", or "Wikipedia says it's" affect models, and whether they
contribute to model failures. We develop a typology of epistemic markers and
inject 50 markers into prompts for question answering. We find that LMs are
highly sensitive to epistemic markers in prompts, with accuracies varying more
than 80%. Surprisingly, we find that expressions of high certainty result in a
7% decrease in accuracy as compared to low certainty expressions; similarly,
factive verbs hurt performance, while evidentials benefit performance. Our
analysis of a popular pretraining dataset shows that these markers of
uncertainty are associated with answers on question-answering websites, while
markers of certainty are associated with questions. These associations may
suggest that the behavior of LMs is based on mimicking observed language use,
rather than truly reflecting epistemic uncertainty.
- Abstract(参考訳): 知識と事実を含む実世界のタスクに対するlmsの配置が増加すると、モデル認識論を理解することが重要になる。
ここでは, モデル認識学の側面について考察する: 確実性, 不確実性, あるいは「確か」, 「そう思う」, 「ウィキペディアがそう言っている」 がモデルにどのように影響するか, モデル失敗に寄与するか。
我々は認識マーカーの類型を発達させ,質問応答のためのプロンプトに50個のマーカーを注入する。
lmsはプロンプトの認識マーカーに対して高感度であり,アキュラシーは80%以上である。
意外なことに、高い確かさの表現は、低確かさの表現に比べて7%の精度が低下し、事実動詞はパフォーマンスを損なう一方、明らかな表現はパフォーマンスを損なう。
一般的な事前学習データセットの分析から,不確実性の指標は質問応答に関連し,確実性の指標は質問に関連していることが示された。
これらの関連性は、LMの挙動が、真にてんかんの不確実性を反映するのではなく、観察された言語の使用を模倣することに基づいていることを示唆している。
関連論文リスト
- Relying on the Unreliable: The Impact of Language Models' Reluctance to
Express Uncertainty [58.26600585770745]
誤応答しても,不確かさを表現できないことが判明した。
我々は、人間の実験を行うことで、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。
最後に、RLHFアライメントで使用される嗜好注釈付きデータセットを調査し、不確実性のあるテキストに対して人間が偏見を持っていることを確認する。
論文 参考訳(メタデータ) (2024-01-12T18:03:30Z) - How are Prompts Different in Terms of Sensitivity? [56.951525287167065]
本稿では,関数の感度に基づく包括的即時解析を提案する。
出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。
本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
論文 参考訳(メタデータ) (2023-11-13T10:52:01Z) - Explainable Depression Symptom Detection in Social Media [2.433983268807517]
本稿では, トランスフォーマーアーキテクチャを用いて, ユーザの文章中の抑うつ症状マーカーの出現を検知し, 説明する。
我々の自然言語による説明により、臨床医はバリデーションされた症状に基づいてモデルの判断を解釈できる。
論文 参考訳(メタデータ) (2023-10-20T17:05:27Z) - Improving the Reliability of Large Language Models by Leveraging
Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している
本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-07T12:06:53Z) - Shifting Attention to Relevance: Towards the Uncertainty Estimation of
Large Language Models [28.67546891608135]
大規模言語モデル (LLMs) は, 自然言語生成や命令の追従において, 顕著な可能性を示している。
不確実性定量化(UQ)は有望なソリューションであり、LLMのコンテキスト内での正確な実装は依然として大きなハードルである。
我々は,より関連性の高いコンポーネントへの注意をトークンレベルと文レベルの両方で協調的にシフトし,正確な不確かさを推定する。
論文 参考訳(メタデータ) (2023-07-03T22:17:16Z) - Injecting knowledge into language generation: a case study in
auto-charting after-visit care instructions from medical dialogue [3.1542695050861544]
本稿では、ソースおよび参照シーケンスの両方に現れる稀なトークンに焦点を当てる。
知識に富む高額なドメインに対しては、どの希少なトークンが重要かを特定するために知識を使用する方法を示す。
本研究は,医療の知識に富む領域において,訪問後のケア指導を創出する問題に取り組むための研究である。
論文 参考訳(メタデータ) (2023-06-06T13:13:27Z) - ChatGPT and Simple Linguistic Inferences: Blind Spots and Blinds [51.220650412095665]
本稿では,人間にとって容易な単純な推論タスクに焦点をあてる。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
以上の結果から,モデルがこのような推論に苦慮し,中程度の精度で精度が低いことが示唆された。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z) - Counterfactual reasoning: Do language models need world knowledge for
causal understanding? [11.393681326784849]
我々は、様々な人気のある事前学習言語モデルから、対実予測を探索する。
私たちは、モデルが反現実的なシナリオにおいて、現実世界の知識を一貫してオーバーライドできることに気付きました。
また、ほとんどのモデルでは、この効果は主に単純な語彙的手がかりによって駆動されるように見える。
論文 参考訳(メタデータ) (2022-12-06T19:22:25Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。