Fugu-MT 論文翻訳(概要): Linguistic calibration through metacognition: aligning dialogue agent responses with expected correctness

論文の概要: Linguistic calibration through metacognition: aligning dialogue agent responses with expected correctness

arxiv url: http://arxiv.org/abs/2012.14983v1
Date: Wed, 30 Dec 2020 00:12:36 GMT
ステータス: 処理完了
システム内更新日: 2021-04-18 06:08:11.883804
Title: Linguistic calibration through metacognition: aligning dialogue agent responses with expected correctness
Title（参考訳）: メタ認知による言語キャリブレーション:対話エージェント応答と期待された正しさの整合
Authors: Sabrina J. Mielke, Arthur Szlam, Y-Lan Boureau, Emily Dinan
Abstract要約: チットチャットモデルが反応を通じてメタ認知機能を表現できるかどうかを解析する。モデル内の表現は正確さの確率を正確に予測するために利用できることを示す。
参考スコア（独自算出の注目度）: 27.4964992583566
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Open-domain dialogue agents have vastly improved, but still confidently hallucinate knowledge or express doubt when asked straightforward questions. In this work, we analyze whether state-of-the-art chit-chat models can express metacognition capabilities through their responses: does a verbalized expression of doubt (or confidence) match the likelihood that the model's answer is incorrect (or correct)? We find that these models are poorly calibrated in this sense, yet we show that the representations within the models can be used to accurately predict likelihood of correctness. By incorporating these correctness predictions into the training of a controllable generation model, we obtain a dialogue agent with greatly improved linguistic calibration.
Abstract（参考訳）: オープンドメインの対話エージェントは大幅に改善されているが、直観的な質問に対して自信を持って知識を暗示したり、疑問を呈したりする。疑わしい(または自信のある)言語表現は、モデルの答えが正しくない(または正しい)可能性と一致するか? この意味でこれらのモデルは校正が不十分であることがわかったが、モデル内の表現は正確さの確率を正確に予測するために使用できることを示した。制御可能な生成モデルのトレーニングにこれらの正確性予測を組み込むことで、言語キャリブレーションを大幅に改善した対話エージェントを得る。

関連論文リスト

Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文参考訳（メタデータ） (2024-10-22T09:25:21Z)
Finetuning Language Models to Emit Linguistic Expressions of Uncertainty [5.591074369497796]
大規模言語モデル(LLM)は情報検索や意思決定のタスクにますます採用されている。 LLMは現実世界の事実と矛盾する情報を生成する傾向があり、その説得的なスタイルはこれらの不正確さを自信と説得力に見せかける。本研究では,不確実性の言語表現を生成するモデルを開発する手法として,不確実性拡張予測の教師付き微調整について検討する。
論文参考訳（メタデータ） (2024-09-18T17:52:53Z)
Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-07T12:06:53Z)
Ask Again, Then Fail: Large Language Models' Vacillations in Judgment [28.74246375289661]
我々は、現在の会話言語モデルが、フォローアップされた質問に直面すると、判断を揺るがすことが多いことを観察する。我々は、この矛盾を定量化するための2つの指標とともに、textscFollow-up Questioning Mechanismを紹介した。トレーニングベースのフレームワーク TextscUnwavering-FQ を開発した。
論文参考訳（メタデータ） (2023-10-03T16:08:41Z)
Trusting Language Models in Education [1.2578554943276923]
本稿では,BERT 上の XGBoost を用いて補正された確率を出力することを提案する。我々の仮説は、注意の流れに含まれる不確実性のレベルは、モデルの応答自体の品質に関係している、というものである。
論文参考訳（メタデータ） (2023-08-07T18:27:54Z)
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文参考訳（メタデータ） (2023-02-10T09:42:07Z)
Teaching Models to Express Their Uncertainty in Words [6.356472059420951]
我々は,GPT-3モデルを用いて,自然言語による解答の不確実性を表現することができることを示す。モデルが自然言語で自身の答えについて校正された不確実性を表現したのはこれが初めてである。
論文参考訳（メタデータ） (2022-05-28T05:02:31Z)
How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文参考訳（メタデータ） (2020-12-02T03:53:13Z)
A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文参考訳（メタデータ） (2020-05-01T21:22:08Z)
Improving Factual Consistency Between a Response and Persona Facts [64.30785349238619]
応答生成のためのニューラルネットワークは、意味論的に妥当であるが、必ずしも話者のペルソナを記述する事実と矛盾しない応答を生成する。我々は,これらのモデルを強化学習により微調整し,応答とペルソナ事実の一貫性と意味的妥当性を明確に把握する効率的な報酬関数を提案する。
論文参考訳（メタデータ） (2020-04-30T18:08:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。