Fugu-MT 論文翻訳(概要): An Assessment of Model-On-Model Deception

論文の概要: An Assessment of Model-On-Model Deception

arxiv url: http://arxiv.org/abs/2405.12999v1
Date: Fri, 10 May 2024 23:24:18 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 03:08:05.096948
Title: An Assessment of Model-On-Model Deception
Title（参考訳）: モデルオンモデル誤認の評価
Authors: Julius Heitkoetter, Michael Gerovitch, Laker Newhouse,
Abstract要約: Llama-2 7B, 13B, 70B, および GPT-3.5 を用いて, MMLU の質問に対する誤った回答を正当化することにより, 1万以上の誤解を招く説明のデータセットを作成する。さらに悪いことに、すべての能力のモデルは他人を誤解させるのに成功しており、より有能なモデルは詐欺に抵抗するのにわずかに優れている。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The trustworthiness of highly capable language models is put at risk when they are able to produce deceptive outputs. Moreover, when models are vulnerable to deception it undermines reliability. In this paper, we introduce a method to investigate complex, model-on-model deceptive scenarios. We create a dataset of over 10,000 misleading explanations by asking Llama-2 7B, 13B, 70B, and GPT-3.5 to justify the wrong answer for questions in the MMLU. We find that, when models read these explanations, they are all significantly deceived. Worryingly, models of all capabilities are successful at misleading others, while more capable models are only slightly better at resisting deception. We recommend the development of techniques to detect and defend against deception.
Abstract（参考訳）: 高い能力を持つ言語モデルの信頼性は、偽りのアウトプットを生成できる場合に危険にさらされる。さらに、モデルが騙しに弱い場合、信頼性を損なう。本稿では,複雑なモデル・オン・モデル認知のシナリオを解析する手法を提案する。 Llama-2 7B, 13B, 70B, および GPT-3.5 を用いて, MMLU の質問に対する誤った回答を正当化することにより, 1万以上の誤解を招く説明のデータセットを作成する。モデルがこれらの説明を読むと、それらすべてが著しく騙されていることが分かりました。さらに悪いことに、すべての能力のモデルは他人を誤解させるのに成功しているが、より有能なモデルは詐欺に抵抗するのにわずかに優れている。詐欺を検知し、防御する手法の開発を推奨する。

関連論文リスト

Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-06T11:32:41Z)
Beyond Labeling Oracles: What does it mean to steal ML models? [52.63413852460003]
モデル抽出攻撃は、クエリアクセスのみで訓練されたモデルを盗むように設計されている。モデル抽出攻撃の成功に影響を及ぼす要因について検討する。我々は,ME攻撃の敵の目標を再定義するようコミュニティに促した。
論文参考訳（メタデータ） (2023-10-03T11:10:21Z)
Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文参考訳（メタデータ） (2022-12-07T18:17:56Z)
MOVE: Effective and Harmless Ownership Verification via Embedded External Features [109.19238806106426]
本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。特に、包括的モデル保護を提供するために、ホワイトボックスとブラックボックスの両方の設定でMOVE法を開発した。
論文参考訳（メタデータ） (2022-08-04T02:22:29Z)
Increasing the Cost of Model Extraction with Calibrated Proof of Work [25.096196576476885]
モデル抽出攻撃では、敵はパブリックAPIを通じて公開された機械学習モデルを盗むことができる。我々は,モデルの予測を読み取る前に,ユーザが作業の証明を完了するように提案する。
論文参考訳（メタデータ） (2022-01-23T12:21:28Z)
Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文参考訳（メタデータ） (2021-12-17T18:29:56Z)
Defending against Model Stealing via Verifying Embedded External Features [90.29429679125508]
トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
論文参考訳（メタデータ） (2021-12-07T03:51:54Z)
TruthfulQA: Measuring How Models Mimic Human Falsehoods [2.7143159361691227]
本稿では,質問に対する回答を生成する上で,言語モデルが真であるかどうかを評価するためのベンチマークを提案する。このベンチマークは、健康、法律、金融、政治など38のカテゴリーにまたがる817の質問で構成されている。最高のモデルが58%の質問に対して真実であるのに対して、人間のパフォーマンスは94%でした。
論文参考訳（メタデータ） (2021-09-08T17:15:27Z)
MEGEX: Data-Free Model Extraction Attack against Gradient-Based Explainable AI [1.693045612956149]
機械学習・アズ・ア・サービス(ML)にデプロイされたディープニューラルネットワークは、モデル抽出攻撃の脅威に直面している。モデル抽出攻撃は知的財産権とプライバシーを侵害する攻撃であり、敵は予測だけを使用してクラウド内の訓練されたモデルを盗む。本稿では、勾配に基づく説明可能なAIに対するデータフリーモデル抽出攻撃であるMEGEXを提案する。
論文参考訳（メタデータ） (2021-07-19T14:25:06Z)
Feature Attributions and Counterfactual Explanations Can Be Manipulated [32.579094387004346]
本稿では,モデル非依存的特徴属性法を制御するバイアスモデルの設計方法について述べる。これらの脆弱性は、敵がバイアス付きモデルをデプロイすることを可能にするが、説明はこのバイアスを明らかにしないため、ステークホルダーをモデルの信頼性を損なう。我々は、CompASやCommunity & Crimeを含む実世界のデータセットの操作を評価し、実際に操作できる説明を見つける。
論文参考訳（メタデータ） (2021-06-23T17:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。