論文の概要: Navigating the Grey Area: Expressions of Overconfidence and Uncertainty
in Language Models
- arxiv url: http://arxiv.org/abs/2302.13439v1
- Date: Sun, 26 Feb 2023 23:46:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 17:09:20.790921
- Title: Navigating the Grey Area: Expressions of Overconfidence and Uncertainty
in Language Models
- Title(参考訳): グレイエリアのナビゲーション:言語モデルにおける過信と不確かさの表現
- Authors: Kaitlyn Zhou, Dan Jurafsky, Tatsunori Hashimoto
- Abstract要約: 我々は、言語モデル(LM)の理解から欠落している重要な次元は、不確実性の表現を解釈し生成するモデルの能力であると主張している。
本研究では,不確かさの表現を解釈できるのか,不確かさの表現を学習中にどのように変化するのかを検討する。
モデルのキャリブレーションは、モデルに不確実性ではなく確実性を生成するように教えるときに発生する。
- 参考スコア(独自算出の注目度): 46.33193966693824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite increasingly fluent, relevant, and coherent language generation,
major gaps remain between how humans and machines use language. We argue that a
key dimension that is missing from our understanding of language models (LMs)
is the model's ability to interpret and generate expressions of uncertainty.
Whether it be the weatherperson announcing a chance of rain or a doctor giving
a diagnosis, information is often not black-and-white and expressions of
uncertainty provide nuance to support human-decision making. The increasing
deployment of LMs in the wild motivates us to investigate whether LMs are
capable of interpreting expressions of uncertainty and how LMs' behaviors
change when learning to emit their own expressions of uncertainty. When
injecting expressions of uncertainty into prompts (e.g., "I think the answer
is..."), we discover that GPT3's generations vary upwards of 80% in accuracy
based on the expression used. We analyze the linguistic characteristics of
these expressions and find a drop in accuracy when naturalistic expressions of
certainty are present. We find similar effects when teaching models to emit
their own expressions of uncertainty, where model calibration suffers when
teaching models to emit certainty rather than uncertainty. Together, these
results highlight the challenges of building LMs that interpret and generate
trustworthy expressions of uncertainty.
- Abstract(参考訳): 流動的で関連性があり、一貫性のある言語生成がますます進んでいるにもかかわらず、人間と機械の言語使用方法には大きなギャップが残っている。
我々は、言語モデル(lms)の理解から欠けている重要な次元は、不確実性の表現を解釈し生成するモデルの能力であると主張する。
雨の機会を知らせる天気予報者であれ、診断を行う医師であれ、情報はしばしば白黒ではなく、不確実性の表現は人為的な判断を支援するニュアンスを提供する。
野生におけるLMの展開の増加は、LMが不確実性の表現を解釈できるかどうか、そして不確実性の表現を出力する学習において、LMの挙動がどのように変化するかを調査する動機となる。
不確実性の表現をプロンプト(例えば「答えは...」)に注入すると、gpt3の世代は使用する表現に基づいて80%以上の精度で変化することが分かる。
これらの表現の言語的特徴を分析し,自然主義的表現が存在する場合の精度の低下を見出す。
モデルキャリブレーションがモデルに不確実性ではなく確実性を与えるように教える際に生じる不確実性の表現をモデルに教える場合、同様の効果を見出す。
これらの結果は、不確実性の信頼できる表現を解釈し生成するlmm構築の課題を浮き彫りにしている。
関連論文リスト
- Relying on the Unreliable: The Impact of Language Models' Reluctance to
Express Uncertainty [58.26600585770745]
誤応答しても,不確かさを表現できないことが判明した。
我々は、人間の実験を行うことで、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。
最後に、RLHFアライメントで使用される嗜好注釈付きデータセットを調査し、不確実性のあるテキストに対して人間が偏見を持っていることを確認する。
論文 参考訳(メタデータ) (2024-01-12T18:03:30Z) - How are Prompts Different in Terms of Sensitivity? [56.951525287167065]
本稿では,関数の感度に基づく包括的即時解析を提案する。
出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。
本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
論文 参考訳(メタデータ) (2023-11-13T10:52:01Z) - Explainable Depression Symptom Detection in Social Media [2.433983268807517]
本稿では, トランスフォーマーアーキテクチャを用いて, ユーザの文章中の抑うつ症状マーカーの出現を検知し, 説明する。
我々の自然言語による説明により、臨床医はバリデーションされた症状に基づいてモデルの判断を解釈できる。
論文 参考訳(メタデータ) (2023-10-20T17:05:27Z) - Improving the Reliability of Large Language Models by Leveraging
Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している
本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-07T12:06:53Z) - Shifting Attention to Relevance: Towards the Uncertainty Estimation of
Large Language Models [28.67546891608135]
大規模言語モデル (LLMs) は, 自然言語生成や命令の追従において, 顕著な可能性を示している。
不確実性定量化(UQ)は有望なソリューションであり、LLMのコンテキスト内での正確な実装は依然として大きなハードルである。
我々は,より関連性の高いコンポーネントへの注意をトークンレベルと文レベルの両方で協調的にシフトし,正確な不確かさを推定する。
論文 参考訳(メタデータ) (2023-07-03T22:17:16Z) - Injecting knowledge into language generation: a case study in
auto-charting after-visit care instructions from medical dialogue [3.1542695050861544]
本稿では、ソースおよび参照シーケンスの両方に現れる稀なトークンに焦点を当てる。
知識に富む高額なドメインに対しては、どの希少なトークンが重要かを特定するために知識を使用する方法を示す。
本研究は,医療の知識に富む領域において,訪問後のケア指導を創出する問題に取り組むための研究である。
論文 参考訳(メタデータ) (2023-06-06T13:13:27Z) - ChatGPT and Simple Linguistic Inferences: Blind Spots and Blinds [51.220650412095665]
本稿では,人間にとって容易な単純な推論タスクに焦点をあてる。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
以上の結果から,モデルがこのような推論に苦慮し,中程度の精度で精度が低いことが示唆された。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z) - Counterfactual reasoning: Do language models need world knowledge for
causal understanding? [11.393681326784849]
我々は、様々な人気のある事前学習言語モデルから、対実予測を探索する。
私たちは、モデルが反現実的なシナリオにおいて、現実世界の知識を一貫してオーバーライドできることに気付きました。
また、ほとんどのモデルでは、この効果は主に単純な語彙的手がかりによって駆動されるように見える。
論文 参考訳(メタデータ) (2022-12-06T19:22:25Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。