論文の概要: Gotcha! Don't trick me with unanswerable questions! Self-aligning Large Language Models for Responding to Unknown Questions

• arxiv url: http://arxiv.org/abs/2402.15062v1
• Date: Fri, 23 Feb 2024 02:24:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 15:49:51.630849
• Title: Gotcha! Don't trick me with unanswerable questions! Self-aligning Large Language Models for Responding to Unknown Questions
• Title（参考訳）: ゴッチャ! 答えられない質問で私を騙すな! 未知の質問に対する自己調整型大規模言語モデル
• Authors: Yang Deng, Yong Zhao, Moxin Li, See-Kiong Ng, Tat-Seng Chua
• Abstract要約: 自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
• 参考スコア（独自算出の注目度）: 75.78536317322616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable abilities of Large Language Models (LLMs) to answer questions, they often display a considerable level of overconfidence even when the question does not have a definitive answer. To avoid providing hallucinated answers to these unknown questions, existing studies typically investigate approaches to refusing to answer these questions. In this work, we propose a novel and scalable self-alignment method to utilize the LLM itself to enhance its response-ability to different types of unknown questions, being capable of not only refusing to answer but also providing explanation to the unanswerability of unknown questions. Specifically, the Self-Align method first employ a two-stage class-aware self-augmentation approach to generate a large amount of unknown question-response data. Then we conduct disparity-driven self-curation to select qualified data for fine-tuning the LLM itself for aligning the responses to unknown questions as desired. Experimental results on two datasets across four types of unknown questions validate the superiority of the Self-Align method over existing baselines in terms of three types of task formulation.
• Abstract（参考訳）: 大きな言語モデル(LLM)が疑問に答える驚くべき能力があるにもかかわらず、疑問が決定的な答えを持っていなくても、しばしばかなりのレベルの自信を示す。 これらの未知の質問に対して幻覚的な回答を与えるのを避けるため、既存の研究は通常、これらの質問に答えることを拒否したアプローチを調査する。 そこで本研究では,様々な未知の質問に対する応答性を高めるために,llm自体を活用するための新しいスケーラブルな自己調整手法を提案する。 具体的には、まず2段階のクラス認識型自己提示手法を用いて、未知の質問応答データを大量に生成する。 次に, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。 未知の4種類の質問にまたがる2つのデータセットの実験結果は、3種類のタスク定式化の観点から、既存のベースラインよりも自己鎮静法が優れていることを検証している。

関連論文リスト

• I Could've Asked That: Reformulating Unanswerable Questions [89.93173151422636]
  我々は、解決不可能な質問を改定するためのオープンソースおよびプロプライエタリなモデルを評価する。 GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。 ベンチマークとコードを公開して実験を再現します。
  論文  参考訳（メタデータ） (2024-07-24T17:59:07Z)
• Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
  そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。 我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。 インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
  論文  参考訳（メタデータ） (2023-11-16T00:18:50Z)
• Open-ended Commonsense Reasoning with Unrestricted Answer Scope [47.14397700770702]
  Open-ended Commonsense Reasoning は、1) 回答候補の短いリスト、2) 事前定義された回答スコープを提供することなく、Commonsenseの問題を解決するものとして定義される。 本研究では,事前学習した言語モデルを用いて,外部知識に基づく推論経路を反復的に検索する。 推論パスは、常識的な質問に対する最も正確な答えを特定するのに役立つ。
  論文  参考訳（メタデータ） (2023-10-18T02:45:54Z)
• Can NLP Models 'Identify', 'Distinguish', and 'Justify' Questions that Don't have a Definitive Answer? [43.03399918557937]
  現実世界のアプリケーションでは、ユーザは決定的な答えを持たない質問をすることが多い。 QnotAは、明確な答えを持たない5つのカテゴリの質問からなるデータセットである。 このデータを用いて、システムの「識別」、「識別」、QnotA質問を「正当化」する能力をテストする3つの評価タスクを定式化する。 GPT-3 や Flan T5 といった SOTA モデルでさえ,これらのタスクはうまく行っていない。
  論文  参考訳（メタデータ） (2023-09-08T23:12:03Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Selectively Answering Ambiguous Questions [38.83930394700588]
  我々は, サンプルモデル出力における繰り返しの定量化が, 退避時期を決定する最も信頼性の高い手法であることが判明した。 その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-24T01:25:38Z)
• CLAM: Selective Clarification for Ambiguous Questions with Large Language Models [37.37606905433334]
  我々は,現在の SotA モデルでは,不正確な質問を提示しても,ユーザに対して明確化を求めないことを示す。 CLAMは,まずモデルを用いて曖昧な質問を検知し,不明瞭な質問が検出された場合,ユーザに対して明確化を求める。 本研究では,新しいあいまいな質問応答データセットを用いて,SotAに対して20.15パーセントの精度向上を実現していることを示す。
  論文  参考訳（メタデータ） (2022-12-15T12:47:18Z)
• Double Retrieval and Ranking for Accurate Question Answering [120.69820139008138]
  本研究では,トランスフォーマーを用いた解答選択モデルに導入された解答検証ステップが,問合せ解答における解答の精度を大幅に向上させることを示す。 AS2のためのよく知られた3つのデータセットの結果は、最先端の一貫性と大幅な改善を示している。
  論文  参考訳（メタデータ） (2022-01-16T06:20:07Z)
• Stay Hungry, Stay Focused: Generating Informative and Specific Questions in Information-Seeking Conversations [41.74162467619795]
  情報非対称な会話における情報的質問生成の問題について検討する。 実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。 そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-04-30T00:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。