論文の概要: Adversarial Negotiation Dynamics in Generative Language Models

• arxiv url: http://arxiv.org/abs/2501.00069v1
• Date: Sun, 29 Dec 2024 18:17:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:17:01.081947
• Title: Adversarial Negotiation Dynamics in Generative Language Models
• Title（参考訳）: 生成言語モデルにおける対立ネゴシエーションダイナミクス
• Authors: Arinbjörn Kolbeinsson, Benedikt Kolbeinsson,
• Abstract要約: 生成言語モデルは、契約の起草と拡張にますます使われています。 これは、競合する当事者が異なる言語モデルを相互にデプロイするシナリオを生み出します。 我々は,主要なオープンソース言語モデルの性能と脆弱性を正面競争で評価する。
• 参考スコア（独自算出の注目度）: 1.307537039737708
• License:
• Abstract: Generative language models are increasingly used for contract drafting and enhancement, creating a scenario where competing parties deploy different language models against each other. This introduces not only a game-theory challenge but also significant concerns related to AI safety and security, as the language model employed by the opposing party can be unknown. These competitive interactions can be seen as adversarial testing grounds, where models are effectively red-teamed to expose vulnerabilities such as generating biased, harmful or legally problematic text. Despite the importance of these challenges, the competitive robustness and safety of these models in adversarial settings remain poorly understood. In this small study, we approach this problem by evaluating the performance and vulnerabilities of major open-source language models in head-to-head competitions, simulating real-world contract negotiations. We further explore how these adversarial interactions can reveal potential risks, informing the development of more secure and reliable models. Our findings contribute to the growing body of research on AI safety, offering insights into model selection and optimisation in competitive legal contexts and providing actionable strategies for mitigating risks.
• Abstract（参考訳）: ジェネレーティブ言語モデルは、契約の起草と強化にますます使われており、競合する当事者が異なる言語モデルを相互にデプロイするシナリオを生み出している。 これは、ゲーム理論上の課題だけでなく、AIの安全性とセキュリティに関する重要な懸念も導入している。 これらの競合する相互作用は、モデルが効果的に再チーム化され、バイアスのある、有害な、法的に問題のあるテキストを生成するような脆弱性を露呈する、敵対的なテストの場と見なすことができる。 これらの課題の重要性にもかかわらず、敵の設定におけるこれらのモデルの競争力と安全性はいまだに理解されていない。 本稿では,実世界の契約交渉をシミュレートし,主要なオープンソース言語モデルの性能と脆弱性を評価することで,この問題に対処する。 さらに、これらの敵対的相互作用が潜在的なリスクを明らかにし、より安全で信頼性の高いモデルの開発を知らせる方法について検討する。 我々の研究は、AIの安全性に関する研究の活発化に寄与し、競合する法的文脈におけるモデル選択と最適化に関する洞察を提供し、リスクを緩和するための実行可能な戦略を提供する。

関連論文リスト

• MultiAgent Collaboration Attack: Investigating Adversarial Attacks in Large Language Model Collaborations via Debate [24.92465108034783]
  大規模言語モデル(LLM)は、個別に作業する場合に、現在のベンチマークで例外的な結果を示す。 パラメータサイズと推論時間の短縮とともに、それらの能力の進歩は、これらのモデルをエージェントとしての使用を促進する。 敵の影響下での議論を通じて協調するモデルのネットワークの挙動を評価する。
  論文  参考訳（メタデータ） (2024-06-20T20:09:37Z)
• Adversarial Attacks and Defense for Conversation Entailment Task [0.49157446832511503]
  大規模言語モデルは、低コストの敵攻撃に対して脆弱である。 我々は、仮説の真偽を正確に識別するために、変圧器モデルを微調整する。 モデルのロバスト性を高めるために,埋め込み摂動損失法を導入する。
  論文  参考訳（メタデータ） (2024-05-01T02:49:18Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• Exploiting Large Language Models (LLMs) through Deception Techniques and Persuasion Principles [2.134057414078079]
  大きな言語モデル(LLM)は広く使われるようになり、セキュリティと堅牢性を保証することが重要である。 本稿では,このような大規模言語モデルによる知覚的相互作用に対する活用に焦点を当てた新しい研究を提案する。 以上の結果から,これらの大規模言語モデルが詐欺や社会工学的攻撃の影響を受けやすいことが示唆された。
  論文  参考訳（メタデータ） (2023-11-24T23:57:44Z)
• Robust Safety Classifier for Large Language Models: Adversarial Prompt Shield [7.5520641322945785]
  大規模言語モデルの安全性は、敵の攻撃に対する脆弱性のため、依然として重要な懸念事項である。 本稿では,検出精度を向上し,対向プロンプトに対するレジリエンスを示す軽量モデルであるAdversarial Prompt Shield(APS)を紹介する。 また、対戦型トレーニングデータセットを自律的に生成するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T22:22:10Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Designing an attack-defense game: how to increase robustness of financial transaction models via a competition [69.08339915577206]
  金融セクターにおける悪意ある攻撃のエスカレートリスクを考えると、機械学習モデルの敵戦略と堅牢な防御メカニズムを理解することが重要である。 本研究の目的は、逐次的な財務データを入力として使用するニューラルネットワークモデルに対する敵攻撃と防御の現状とダイナミクスを調査することである。 我々は、現代の金融取引データにおける問題の現実的かつ詳細な調査を可能にする競争を設計した。 参加者は直接対決するので、実生活に近い環境で攻撃や防御が検討される。
  論文  参考訳（メタデータ） (2023-08-22T12:53:09Z)
• Should ChatGPT be Biased? Challenges and Risks of Bias in Large Language Models [11.323961700172175]
  本稿では,ChatGPTのような大規模言語モデルにおけるバイアスに関連する課題とリスクについて考察する。 我々は、トレーニングデータの性質、モデル仕様、アルゴリズム制約、製品設計、ポリシー決定など、バイアスの起源について論じる。 私たちは、言語モデルにおけるバイアスを特定し、定量化し、緩和するための現在のアプローチをレビューし、より公平で透明で責任あるAIシステムを開発するための、多分野の協力的な取り組みの必要性を強調します。
  論文  参考訳（メタデータ） (2023-04-07T17:14:00Z)
• Language Generation Models Can Cause Harm: So What Can We Do About It? An Actionable Survey [50.58063811745676]
  この研究は、言語生成モデルから潜在的脅威や社会的害に対処するための実践的な方法の調査を提供する。 言語生成者のさまざまなリスク・ハームを検知・改善するための戦略の構造化された概要を提示するために、言語モデルリスクのいくつかの先行研究を取り上げる。
  論文  参考訳（メタデータ） (2022-10-14T10:43:39Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。