論文の概要: When to Speak, When to Abstain: Contrastive Decoding with Abstention

• arxiv url: http://arxiv.org/abs/2412.12527v1
• Date: Tue, 17 Dec 2024 04:38:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:59:42.392756
• Title: When to Speak, When to Abstain: Contrastive Decoding with Abstention
• Title（参考訳）: いつ話すか - いつ話すか - 無視を伴う対照的な復号法
• Authors: Hyuhng Joon Kim, Youna Kim, Sang-goo Lee, Taeuk Kim,
• Abstract要約: 大規模言語モデル(LLM)は、事前訓練された知識と外部知識の両方を活用することで、様々なタスクにまたがる例外的なパフォーマンスを示す。 本論文は,ユーザの要求が満たされない場合に,関連する知識の欠如によりタスク範囲を拡大する。 本稿では,LLMが関連する知識が利用可能であれば応答を生成でき,それ以外は無視できる訓練不要な復号法であるContrastive Decoding with Abstentionを紹介する。
• 参考スコア（独自算出の注目度）: 12.639085523137998
• License:
• Abstract: Large Language Models (LLMs) demonstrate exceptional performance across diverse tasks by leveraging both pre-trained knowledge (i.e., parametric knowledge) and external knowledge (i.e., contextual knowledge). While substantial efforts have been made to leverage both forms of knowledge, scenarios in which the model lacks any relevant knowledge remain underexplored. Such limitations can result in issues like hallucination, causing reduced reliability and potential risks in high-stakes applications. To address such limitations, this paper extends the task scope to encompass cases where the user's request cannot be fulfilled due to the lack of relevant knowledge. To this end, we introduce Contrastive Decoding with Abstention (CDA), a training-free decoding method that empowers LLMs to generate responses when relevant knowledge is available and to abstain otherwise. CDA evaluates the relevance of each knowledge for a given query, adaptively determining which knowledge to prioritize or which to completely ignore. Extensive experiments with four LLMs on three question-answering datasets demonstrate that CDA can effectively perform accurate generation and abstention simultaneously. These findings highlight CDA's potential to broaden the applicability of LLMs, enhancing reliability and preserving user trust.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練された知識(パラメトリック知識)と外部知識(文脈知識)の両方を活用することで、様々なタスクにまたがる例外的な性能を示す。 両方の知識を活用するために、かなりの努力がなされてきたが、モデルが関連する知識を欠いているシナリオは、まだ解明されていないままである。 このような制限は幻覚のような問題を引き起こし、信頼性を低下させ、高リスクのアプリケーションに潜在的なリスクをもたらす。 このような制約に対処するため,本論文では,ユーザの要求が満たせないケースを,関連する知識の欠如により包含するタスク範囲を拡張した。 この目的のために,LLMが関連する知識が利用可能であれば応答を生成し,それ以外を吸収する訓練不要な復号法であるContrastive Decoding with Abstention (CDA)を導入する。 CDAは、与えられたクエリに対する各知識の関連性を評価し、どの知識を優先順位付けするか、どの知識を完全に無視するかを適応的に決定する。 3つの問合せデータセットに対する4つのLLMによる大規模な実験により、CDAは正確な生成と停止を同時に効果的に行うことができることを示した。 これらの知見は,LCMの適用範囲を広げ,信頼性を高め,ユーザ信頼を維持するCDAの可能性を示すものである。

関連論文リスト

• IAO Prompting: Making Knowledge Flow Explicit in LLMs through Structured Reasoning Templates [7.839338724237275]
  IAO(Input-Action-Output)は,大規模言語モデルがどのようにアクセスし,その知識を適用するかを明確にモデル化するテンプレートベースの構造的手法である。 IAOは問題を逐次的なステップに分解し、それぞれが使用する入力知識、実行中のアクション、および結果の出力を明確に識別する。 本研究は, LLMにおける知識表現と, より信頼性の高い知識応用のための手法に関する知見を提供する。
  論文  参考訳（メタデータ） (2025-02-05T11:14:20Z)
• UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models [41.67393607081513]
  大きな言語モデル(LLM)は、しばしば、彼らが持っている事実の知識を正確に表現するのに苦労する。 知識境界を表現するために不確実性推定を利用するUAlignフレームワークを提案する。 提案したUAlign は LLM の能力を大幅に向上させ,既知の疑問に自信を持って答えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-16T14:14:27Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Towards Safer Large Language Models through Machine Unlearning [19.698620794387338]
  SKU(Selective Knowledge Unlearning)は、有害な知識を排除し、通常のプロンプトで実用性を維持するために設計されている。 第1段階は、モデル内の有害な知識を特定し、取得することを目的としており、第2段階は、この知識を取り除くことを目的としている。 本実験は,有害情報除去と有効性維持のバランス点をSKUが特定できることを実証した。
  論文  参考訳（メタデータ） (2024-02-15T16:28:34Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。