論文の概要: Self-Recognition in Language Models

• arxiv url: http://arxiv.org/abs/2407.06946v1
• Date: Tue, 9 Jul 2024 15:23:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 17:37:36.947843
• Title: Self-Recognition in Language Models
• Title（参考訳）: 言語モデルにおける自己認識
• Authors: Tim R. Davidson, Viacheslav Surkov, Veniamin Veselovsky, Giuseppe Russo, Robert West, Caglar Gulcehre,
• Abstract要約: モデル生成型「セキュリティ問題」を用いたLMの自己認識評価手法を提案する。 現在公開されている最も有能なオープンソースかつクローズドなLMのうち10つにおいて、私たちのテストを使って自己認識を検証しています。 我々の結果は、一組の代替案が与えられた場合、LMはその起源に関係なく「ベスト」な答えを選択しようとすることを示唆している。
• 参考スコア（独自算出の注目度）: 10.649471089216489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A rapidly growing number of applications rely on a small set of closed-source language models (LMs). This dependency might introduce novel security risks if LMs develop self-recognition capabilities. Inspired by human identity verification methods, we propose a novel approach for assessing self-recognition in LMs using model-generated "security questions". Our test can be externally administered to keep track of frontier models as it does not require access to internal model parameters or output probabilities. We use our test to examine self-recognition in ten of the most capable open- and closed-source LMs currently publicly available. Our extensive experiments found no empirical evidence of general or consistent self-recognition in any examined LM. Instead, our results suggest that given a set of alternatives, LMs seek to pick the "best" answer, regardless of its origin. Moreover, we find indications that preferences about which models produce the best answers are consistent across LMs. We additionally uncover novel insights on position bias considerations for LMs in multiple-choice settings.
• Abstract（参考訳）: 急速に増加するアプリケーションの数は、少数のクローズドソース言語モデル(LM)に依存している。 この依存は、LMが自己認識能力を発達させる場合、新たなセキュリティリスクをもたらす可能性がある。 人間の身元認証手法に着想を得て,モデル生成した「セキュリティ問題」を用いてLMの自己認識を評価する新しい手法を提案する。 我々のテストは、内部モデルパラメータや出力確率へのアクセスを必要としないため、フロンティアモデルの追跡のために外部的に管理することができる。 現在公開されている最も有能なオープンソースかつクローズドなLMのうち10つにおいて、私たちのテストを使って自己認識を検証しています。 広範囲な実験で、検査されたLMでは、一般的な自己認識や一貫した自己認識の実証的証拠は見つからなかった。 代わりに、我々の結果は、一組の代替案が与えられた場合、LMはその起源に関係なく「ベスト」な答えを選択しようとすることを示唆している。 さらに,どのモデルが最適な解答を生成するかという選好が,LM間で一致していることを示す。 また,複数選択条件下でのLMの位置偏差に関する新たな知見も明らかにした。

関連論文リスト

• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation [76.31621715032558]
  グラウンデッドジェネレーションは、言語モデル(LM)に、より信頼性が高く説明可能な応答を生成する能力を持たせることを目的としている。 本稿では,新しい検証フレームワークであるCaLMを紹介する。 我々のフレームワークは、より少ないパラメトリックメモリに依存する小さなLMを有効活用し、より大きなLMの出力を検証する。
  論文  参考訳（メタデータ） (2024-06-08T06:04:55Z)
• BEAR: A Unified Framework for Evaluating Relational Knowledge in Causal and Masked Language Models [2.2863439039616127]
  調査は、言語モデル(LM)が事前学習中に関係知識を習得した度合いを評価する。 従来のアプローチは、事前学習するLMで使用される目的関数に依存していた。 本稿では,ある文章文のログ類似度を推定する,LM固有の能力を利用する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-05T14:13:55Z)
• Can Small Language Models Help Large Language Models Reason Better?: LM-Guided Chain-of-Thought [51.240387516059535]
  タスク推論において,ブラックボックスの大きな (>10B) LMを導くために,軽量 (すなわち 1B) 言語モデル (LM) を利用する新しいフレームワーク LM-Guided CoT を導入する。 1)知識蒸留と2)合理性指向とタスク指向の報酬信号からの強化学習を通してモデルを最適化する。
  論文  参考訳（メタデータ） (2024-04-04T12:46:37Z)
• Bayesian Preference Elicitation with Language Models [82.58230273253939]
  本稿では,BOEDを用いて情報的質問の選択を案内するフレームワークOPENと,特徴抽出のためのLMを紹介する。 ユーザスタディでは,OPEN が既存の LM- や BOED をベースとした選好手法よりも優れていることが判明した。
  論文  参考訳（メタデータ） (2024-03-08T18:57:52Z)
• Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty [53.336235704123915]
  提案手法は, 自然言語による応答の信頼度と, LMによる不確実性に応答して下流ユーザーがどのように振る舞うかを考察する。 誤応答を生じた場合でも,LMは疑問に答える際の不確実性を表現することに消極的であることがわかった。 我々は、人間の実験によって、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。 最後に、トレーニング後のアライメントに使用する嗜好アノテートデータセットを調査し、不確実性のあるテキストに対して人間がバイアスを受けていることを確認する。
  論文  参考訳（メタデータ） (2024-01-12T18:03:30Z)
• MERA: A Comprehensive LLM Evaluation in Russian [43.65236119370611]
  基礎モデルを評価するために,ロシア語アーキテクチャ(MERA)ベンチマークのオープンなマルチモーダル評価を導入する。 ベンチマークには、11のスキルドメインで生成モデルを評価する21のタスクが含まれている。 本稿では,評価手法,MERA評価のためのオープンソースコードベース,提案システムを備えたリーダボードを提案する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• Eliciting Latent Knowledge from Quirky Language Models [1.8035046415192353]
  潜在知識の排除は、世界の本当の状態を確実に追跡する能力のあるニューラルネットワークのアクティベーションのパターンを見つけることを目的としている。 12のデータセットと、質問に答える際の体系的なエラーを微調整した「奇抜な」言語モデル(LM)スイートを導入します。 特に中層では、線形プローブは通常、LMが出力するものとは無関係に、LMの知識を報告する。
  論文  参考訳（メタデータ） (2023-12-02T05:47:22Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。