論文の概要: On The Truthfulness of 'Surprisingly Likely' Responses of Large Language Models

• arxiv url: http://arxiv.org/abs/2311.07692v1
• Date: Mon, 13 Nov 2023 19:21:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 16:31:09.943397
• Title: On The Truthfulness of 'Surprisingly Likely' Responses of Large Language Models
• Title（参考訳）: 大規模言語モデルの「驚くほど」応答の真理性について
• Authors: Naman Goel
• Abstract要約: LLMの応答に対する類似基準の関連について検討する。 TruthfulQAベンチマークなどのベンチマークと、公開LLM(GPT-2とLLaMA-2)を使用している。 本手法は精度を著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 5.252280724532548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The surprisingly likely criterion in the seminal work of Prelec (the Bayesian Truth Serum) guarantees truthfulness in a game-theoretic multi-agent setting, by rewarding rational agents to maximise the expected information gain with their answers w.r.t. their probabilistic beliefs. We investigate the relevance of a similar criterion for responses of LLMs. We hypothesize that if the surprisingly likely criterion works in LLMs, under certain conditions, the responses that maximize the reward under this criterion should be more accurate than the responses that only maximize the posterior probability. Using benchmarks including the TruthfulQA benchmark and using openly available LLMs: GPT-2 and LLaMA-2, we show that the method indeed improves the accuracy significantly (for example, upto 24 percentage points aggregate improvement on TruthfulQA and upto 70 percentage points improvement on individual categories of questions).
• Abstract（参考訳）: prelec (the bayesian truth serum) の独創的著作における驚くほどありそうな基準は、合理的なエージェントに報酬を与え、期待される情報獲得を w.r.t. の確率的信念で最大化することで、ゲーム理論的なマルチエージェント設定における真理性を保証する。 LLMの応答に対する類似基準の関連について検討する。 我々は、ある条件下では、驚くほどありそうな基準がllmで機能するならば、この基準の下で報酬を最大化する応答は、後続確率を最大化する応答よりも正確であるべきであると仮定する。 GPT-2 と LLaMA-2 は、TrathfulQA ベンチマークを含むベンチマークを用いて、精度を大幅に向上することを示した(例えば、TruthfulQA の24パーセントまでの改善と、質問のカテゴリごとの70パーセントまでの改善)。

関連論文リスト

• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ [16.637598165238934]
  大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。 近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。 我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
  論文  参考訳（メタデータ） (2024-03-06T16:01:44Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning [44.53966523376327]
  SeaEvalは多言語基盤モデルのベンチマークである。 これらのモデルがどのように理解し、自然言語で推論するかを特徴付ける。 また、文化の実践やニュアンス、価値観をいかに理解したかについても検討する。
  論文  参考訳（メタデータ） (2023-09-09T11:42:22Z)
• Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
  多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。 実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。 人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-24T02:00:51Z)
• Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
  この研究は、言語間質問応答の属性を初めて研究したものである。 我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。 回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
  論文  参考訳（メタデータ） (2023-05-23T17:57:46Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。