論文の概要: RoCoIns: Enhancing Robustness of Large Language Models through Code-Style Instructions

• arxiv url: http://arxiv.org/abs/2402.16431v1
• Date: Mon, 26 Feb 2024 09:30:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 13:54:28.450134
• Title: RoCoIns: Enhancing Robustness of Large Language Models through Code-Style Instructions
• Title（参考訳）: RoCoIns: コードスタイル命令による大規模言語モデルのロバスト性向上
• Authors: Yuansen Zhang, Xiao Wang, Zhiheng Xi, Han Xia, Tao Gui, Qi Zhang, Xuanjing Huang
• Abstract要約: より構造的であいまいなコードスタイルの命令を使用して、典型的には自然言語命令を置き換える。 そこで本研究では,クリーンサンプルと逆サンプルの両方を用いて,コンテキスト内デモを構成する新しい手法を提案する。 8つのロバスト性データセットの実験により、我々の手法は自然言語命令によるLLMよりも一貫して優れていた。
• 参考スコア（独自算出の注目度）: 43.19966425619236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have showcased remarkable capabilities in following human instructions. However, recent studies have raised concerns about the robustness of LLMs when prompted with instructions combining textual adversarial samples. In this paper, drawing inspiration from recent works that LLMs are sensitive to the design of the instructions, we utilize instructions in code style, which are more structural and less ambiguous, to replace typically natural language instructions. Through this conversion, we provide LLMs with more precise instructions and strengthen the robustness of LLMs. Moreover, under few-shot scenarios, we propose a novel method to compose in-context demonstrations using both clean and adversarial samples (\textit{adversarial context method}) to further boost the robustness of the LLMs. Experiments on eight robustness datasets show that our method consistently outperforms prompting LLMs with natural language instructions. For example, with gpt-3.5-turbo, our method achieves an improvement of 5.68\% in test set accuracy and a reduction of 5.66 points in Attack Success Rate (ASR).
• Abstract（参考訳）: 大きな言語モデル(LLM)は、人間の指示に従う際、顕著な能力を示した。 しかし、近年の研究では、テキスト逆数サンプルを併用した指示によるLDMの堅牢性への懸念が高まっている。 本稿では、LLMが命令の設計に敏感である最近の研究からインスピレーションを得て、より構造的で曖昧なコードスタイルの命令を用いて、典型的には自然言語命令を置き換える。 この変換により、より正確な命令をLLMに提供し、LLMの堅牢性を強化する。 さらに, 少数のシナリオにおいて, クリーンなサンプルと敵のサンプル(\textit{adversarial context method})の両方を用いて, llmのロバスト性をさらに高めるために, コンテキスト内デモを構成する新しい手法を提案する。 8つのロバスト性データセットの実験により、我々の手法は自然言語命令によるLLMよりも一貫して優れていた。 例えば、gpt-3.5-turboでは、テストセットの精度が5.68\%向上し、攻撃成功率(asr)が5.66ポイント向上した。

関連論文リスト

• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models [91.02730155418699]
  大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。 LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。 118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
  論文  参考訳（メタデータ） (2023-10-19T19:52:55Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Evaluating the Robustness to Instructions of Large Language Models [6.947956990248856]
  微調整大型言語モデル(LLM)は、新しいタスクにおけるゼロショット能力を向上することができる。 Alpaca, Vicuna, WizardLM, 従来のタスク指向モデル(Flan-T5-XL/XXL, T0++)を含む6つのモデルを評価する。 異なるスケールのFLAN-T5モデルのRE命令に対するロバスト性は、QA命令に対するロバスト性よりも劣っていることがわかった。
  論文  参考訳（メタデータ） (2023-08-28T04:57:07Z)
• Improving Translation Faithfulness of Large Language Models via Augmenting Instructions [89.76691340615848]
  SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。 SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。 OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
  論文  参考訳（メタデータ） (2023-08-24T09:32:29Z)
• Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
  本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。 提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。 モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
  論文  参考訳（メタデータ） (2023-07-31T13:26:03Z)
• Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting [55.15697111170836]
  本稿では,大規模言語モデル(LLM)のテクスト誘導的指示に対する行動を明らかにするとともに,その真しさと有用性を高める。 広範囲な人的・自動的な評価の結果,帰納的命令処理において LLM に共通する脆弱性が発見された。 異なる帰納的スタイルがモデルに同じエラーを識別する能力に影響を及ぼし、基礎となる仮定の複雑さがモデルの性能にも影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-23T06:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。