論文の概要: I Don't Know: Explicit Modeling of Uncertainty with an [IDK] Token

• arxiv url: http://arxiv.org/abs/2412.06676v1
• Date: Mon, 09 Dec 2024 17:13:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:57:43.798868
• Title: I Don't Know: Explicit Modeling of Uncertainty with an [IDK] Token
• Title（参考訳）: I don't Know:Explicit Modeling of Uncertainty with an [IDK] Token
• Authors: Roi Cohen, Konstantin Dobler, Eden Biran, Gerard de Melo,
• Abstract要約: 大きな言語モデルは幻覚を起こす傾向があり、望ましくない事実的誤りのテキストを出力する。 本稿では,幻覚対策に用いる新しい校正法を提案する。 我々の方法で訓練されたモデルは、以前にミスを犯すような場所で不確実性を表現できることがわかった。
• 参考スコア（独自算出の注目度）: 23.02504739114444
• License:
• Abstract: Large Language Models are known to capture real-world knowledge, allowing them to excel in many downstream tasks. Despite recent advances, these models are still prone to what are commonly known as hallucinations, causing them to emit unwanted and factually incorrect text. In this work, we propose a novel calibration method that can be used to combat hallucinations. We add a special [IDK] ("I don't know") token to the model's vocabulary and introduce an objective function that shifts probability mass to the [IDK] token for incorrect predictions. This approach allows the model to express uncertainty in its output explicitly. We evaluate our proposed method across multiple model architectures and factual downstream tasks. We find that models trained with our method are able to express uncertainty in places where they would previously make mistakes while suffering only a small loss of encoded knowledge. We further perform extensive ablation studies of multiple variations of our approach and provide a detailed analysis of the precision-recall tradeoff of our method.
• Abstract（参考訳）: 大規模言語モデルは現実世界の知識を捉えることで知られており、下流の多くのタスクに精通することができる。 近年の進歩にもかかわらず、これらのモデルはいまだに幻覚と呼ばれるものになりがちである。 本研究では,幻覚対策に用いる新しい校正法を提案する。 モデルの語彙に特別な[IDK]トークンを追加し、確率質量を[IDK]トークンにシフトして誤った予測を行う目的関数を導入します。 このアプローチにより、モデルは出力で不確実性を明示的に表現できる。 提案手法は,複数のモデルアーキテクチャと実際の下流タスクにまたがって評価する。 我々の方法で訓練されたモデルは、符号化された知識の損失をわずかに減らしながら、以前にミスを犯すような場所で不確実性を表現できることがわかりました。 さらに,本手法の様々なバリエーションについて広範囲にわたるアブレーション研究を行い,精度・リコールトレードオフの詳細な解析を行った。

関連論文リスト

• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• Distinguishing the Knowable from the Unknowable with Language Models [15.471748481627143]
  地中真理確率の欠如において、与えられた不確実性を解き放つために、より大きなモデルが地中真理の代用として現れるような設定を探索する。 凍結, 事前訓練されたモデルの埋め込みを訓練した小さな線形プローブが, トークンレベルでより大きなモデルがより自信を持つようになる時期を正確に予測することを示した。 我々は,同じタスクにおいて非自明な精度を実現する,完全に教師なしの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:22:49Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Uncertainty-Aware Unlikelihood Learning Improves Generative Aspect Sentiment Quad Prediction [52.05304897163256]
  トークンレベルの生成を制御するテンプレートに依存しない手法を提案する。 具体的には、事前訓練された言語モデルのビルトイン不確実性を理解するために、モンテカルロのドロップアウトを導入する。 さらに,不確実性を認識した誤りトークンを抑制するために,差分学習を提案する。
  論文  参考訳（メタデータ） (2023-06-01T07:49:06Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Meaningfully Explaining a Model's Mistakes [16.521189362225996]
  本稿では,概念的説明スコア (CES) の体系的アプローチを提案する。 CESでは、分類器が特定のテストサンプルに対して、人間の理解可能な概念で間違いを犯す理由を説明している。 また、意図的かつ既知の刺激的な相関関係を持つ新しいモデルをトレーニングしています。
  論文  参考訳（メタデータ） (2021-06-24T01:49:55Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Learning Interpretable Models Using Uncertainty Oracles [12.879371384378164]
  解釈可能なモデルの望ましい性質は、人間によって容易に理解できるように、小さなサイズである。 a) 小さいサイズが正確さを暗示し、(b) サイズを制限するモデルファミリが提供するビースルークレバーは、望ましいサイズ精度のトレードオフに達するには不十分である。
  論文  参考訳（メタデータ） (2019-06-17T05:53:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。