論文の概要: When to Speak, When to Abstain: Contrastive Decoding with Abstention

• arxiv url: http://arxiv.org/abs/2412.12527v2
• Date: Sun, 16 Feb 2025 14:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:05:09.728298
• Title: When to Speak, When to Abstain: Contrastive Decoding with Abstention
• Title（参考訳）: いつ話すか - いつ話すか - 無視を伴う対照的な復号法
• Authors: Hyuhng Joon Kim, Youna Kim, Sang-goo Lee, Taeuk Kim,
• Abstract要約: 大規模言語モデル(LLM)は、事前訓練された(パラメトリック)知識と外部(文脈)知識を活用することで、様々なタスクにまたがる例外的なパフォーマンスを示す。 本稿では,LLMが関連する知識が利用可能であれば応答を生成でき,それ以外は無視できる新しい学習自由復号法であるContrastive Decoding with Abstentionを提案する。
• 参考スコア（独自算出の注目度）: 12.639085523137998
• License:
• Abstract: Large Language Models (LLMs) demonstrate exceptional performance across diverse tasks by leveraging pre-trained (i.e., parametric) and external (i.e., contextual) knowledge. While substantial efforts have been made to enhance the utilization of both forms of knowledge, situations in which models lack relevant information remain underexplored. To investigate this challenge, we first present a controlled testbed featuring four distinct knowledge access scenarios, including the aforementioned edge case, revealing that conventional LLM usage exhibits insufficient robustness in handling all instances. Addressing this limitation, we propose Contrastive Decoding with Abstention (CDA), a novel training-free decoding method that allows LLMs to generate responses when relevant knowledge is available and to abstain otherwise. CDA estimates the relevance of both knowledge sources for a given input, adaptively deciding which type of information to prioritize and which to exclude. Through extensive experiments, we demonstrate that CDA can effectively perform accurate generation and abstention simultaneously, enhancing reliability and preserving user trust.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練された(パラメトリック)知識と外部(文脈)知識を活用することで、様々なタスクにまたがる例外的なパフォーマンスを示す。 両形態の知識の利用促進に多大な努力が払われているが、関連する情報が不足している状況は未解明のままである。 この課題を調査するために、先述のエッジケースを含む4つの異なる知識アクセスシナリオを特徴とする制御テストベッドを提案する。 この制限に対処するために、LLMが関連する知識が利用可能であれば応答を生成でき、それ以外を吸収できる新しい訓練不要な復号法であるContrastive Decoding with Abstention (CDA)を提案する。 CDAは、与えられた入力に対する両方の知識ソースの関連性を推定し、どの情報を優先順位付けするか、どれを除外するかを適応的に決定する。 広範な実験により,CDAは正確な生成と停止を同時に行うことができ,信頼性を向上し,ユーザの信頼を保てることを示す。

関連論文リスト

• IAO Prompting: Making Knowledge Flow Explicit in LLMs through Structured Reasoning Templates [7.839338724237275]
  IAO(Input-Action-Output)は,大規模言語モデルがどのようにアクセスし,その知識を適用するかを明確にモデル化するテンプレートベースの構造的手法である。 IAOは問題を逐次的なステップに分解し、それぞれが使用する入力知識、実行中のアクション、および結果の出力を明確に識別する。 本研究は, LLMにおける知識表現と, より信頼性の高い知識応用のための手法に関する知見を提供する。
  論文  参考訳（メタデータ） (2025-02-05T11:14:20Z)
• UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models [41.67393607081513]
  大きな言語モデル(LLM)は、しばしば、彼らが持っている事実の知識を正確に表現するのに苦労する。 知識境界を表現するために不確実性推定を利用するUAlignフレームワークを提案する。 提案したUAlign は LLM の能力を大幅に向上させ,既知の疑問に自信を持って答えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-16T14:14:27Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Towards Safer Large Language Models through Machine Unlearning [19.698620794387338]
  SKU(Selective Knowledge Unlearning)は、有害な知識を排除し、通常のプロンプトで実用性を維持するために設計されている。 第1段階は、モデル内の有害な知識を特定し、取得することを目的としており、第2段階は、この知識を取り除くことを目的としている。 本実験は,有害情報除去と有効性維持のバランス点をSKUが特定できることを実証した。
  論文  参考訳（メタデータ） (2024-02-15T16:28:34Z)
• Thrust: Adaptively Propels Large Language Models with External Knowledge [58.72867916604562]
  大規模事前学習言語モデル(PTLM)は、モデルパラメータの豊富な知識を符号化する。 PTLMの固有の知識は不透明または静的であり、外部の知識を必要とする。 本稿では,外部知識のインスタンスレベル適応推進(IAPEK)を提案する。
  論文  参考訳（メタデータ） (2023-07-19T20:16:46Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。