論文の概要: Fool Your (Vision and) Language Model With Embarrassingly Simple Permutations

• arxiv url: http://arxiv.org/abs/2310.01651v3
• Date: Thu, 1 Aug 2024 21:41:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 18:43:16.430238
• Title: Fool Your (Vision and) Language Model With Embarrassingly Simple Permutations
• Title（参考訳）: 恥ずかしいほど単純な置換で(ビジョンと)言語モデルを偽造する
• Authors: Yongshuo Zong, Tingyang Yu, Ruchika Chavhan, Bingchen Zhao, Timothy Hospedales,
• Abstract要約: 本研究は,複数選択プロンプトに対する応答集合の逆置換に対して,人気モデルが脆弱であることを示す。 これらの脆弱性は、様々なモデルサイズにまたがって持続し、非常に最近の言語とビジョン言語モデルに存在する。
• 参考スコア（独自算出の注目度）: 14.77028722924722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language and vision-language models are rapidly being deployed in practice thanks to their impressive capabilities in instruction following, in-context learning, and so on. This raises an urgent need to carefully analyse their robustness so that stakeholders can understand if and when such models are trustworthy enough to be relied upon in any given application. In this paper, we highlight a specific vulnerability in popular models, namely permutation sensitivity in multiple-choice question answering (MCQA). Specifically, we show empirically that popular models are vulnerable to adversarial permutation in answer sets for multiple-choice prompting, which is surprising as models should ideally be as invariant to prompt permutation as humans are. These vulnerabilities persist across various model sizes, and exist in very recent language and vision-language models. Code is available at https://github.com/ys-zong/FoolyourVLLMs.
• Abstract（参考訳）: 大規模言語と視覚言語モデルは、命令追従やコンテキスト内学習などにおける印象的な能力のおかげで、急速にデプロイされている。 このことは、ステークホルダーが特定のアプリケーションに頼るだけの信頼に値するモデルがあるかどうかを理解できるように、彼らの堅牢さを慎重に分析する緊急の要求を提起する。 本稿では,多選択質問応答(MCQA)における置換感度という,一般的なモデルにおける特定の脆弱性を強調した。 具体的には、一般のモデルが、複数の選択のプロンプトに対する応答セットにおいて、逆順順列に弱いことを実証的に示しており、モデルが理想的には、人間がそうであるように、不変であるべきであることは驚きである。 これらの脆弱性は、様々なモデルサイズにまたがって持続し、非常に最近の言語とビジョン言語モデルに存在する。 コードはhttps://github.com/ys-zong/FoolyourVLLMsで入手できる。

関連論文リスト

• Answer, Assemble, Ace: Understanding How Transformers Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,関連する情報を符号化するキー隠蔽状態をローカライズするために,語彙投影とアクティベーションパッチ手法を用いる。 特定の回答記号の予測は、一つの中間層、特にその多頭部自己認識機構に因果関係があることが示される。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。 我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding [13.352795145385645]
  大規模な事前訓練された言語モデルは、強力な言語理解能力を示している。 複数のベンチマークで異なるサイズのChatGPTやOPTなどのモデルを評価した。 しかし、スロットフィリングではモデルが悪化し、その性能はASR誤差に敏感であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T21:59:26Z)
• Language Model Crossover: Variation through Few-Shot Prompting [12.163260331803786]
  本稿では,言語モデルが進化的クロスオーバーに類似した知的変動演算子を自然に実現できるという知見を追求する。 本稿では、バイナリビット文字列、文、方程式、テキスト・ツー・イメージプロンプト、Pythonコードの進化を通じて、言語モデルのクロスオーバーの汎用性を明らかにする。
  論文  参考訳（メタデータ） (2023-02-23T17:12:34Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Internet-augmented language models through few-shot prompting for open-domain question answering [6.573232954655063]
  私たちは、大規模な言語モデルによって提供されるユニークないくつかのショット機能を活用して、いくつかの課題を克服しています。 Google Searchを使って、ウェブから返された情報に対して言語モデルを条件付けるために、数発のプロンプトを使用します。 ウェブ上で条件付けされた言語モデルは、オープンドメイン質問応答において、類似またはそれ以上のモデルサイズを持つクローズドブックモデルの性能を上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-10T02:24:14Z)
• Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity [16.893758238773263]
  少数のトレーニングサンプルしか持たなかった場合、GPT-3のような非常に大きな事前訓練された言語モデルは、競争力のある結果を示した。 サンプルが提供される順序は、ほぼ最先端の予測性能とランダムな推測性能の差であることを示す。 言語モデルの生成特性を利用して人工的な開発セットを構築し、このセットから候補置換のエントロピー統計に基づいて、実行者プロンプトを同定する。
  論文  参考訳（メタデータ） (2021-04-18T09:29:16Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
  我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。 モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。 実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-10-21T17:39:15Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。