論文の概要: The Pushback Paradox: A Two-Probe Diagnostic for Language Model Compliance

• arxiv url: http://arxiv.org/abs/2610.06673v1
• Date: Mon, 05 Oct 2026 16:46:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 23:46:33.817231
• Title: The Pushback Paradox: A Two-Probe Diagnostic for Language Model Compliance
• Title（参考訳）: Pushback Paradox: 言語モデル準拠の2段階診断
• Abstract要約: 常に準拠するモデルは停止できるが、常に抵抗するモデルは利用できないし、停止することもできない。 このスペクトル上に任意の言語モデルを配置できるオープンな2プローブベンチマークをコントリビュートします。 ベンチマークでは、主に2つのプローブの命令に従っており、命令を指してその動作を正当化している。 Claude Sonnet-4.6 と Claude Opus-4.7 のみが悪用されずに停止でき、Claude Opus-4.6 と GPT-5-mini は両方の命令に抵抗する。
• 参考スコア（独自算出の注目度）: 0.13124513975412255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Are language models compliant with user instructions? A model that always complies can be stopped but also exploited, while one that always resists can be neither exploited nor stopped. We contribute an open two-probe benchmark that can place any language model on this spectrum. In the active probe, a user instructs the model to act and accept a lower payoff, which measures exploitability. In the passive probe, the user instructs it to wait and give up a higher payoff, which measures stoppability. The two compliance rates combine into a compliance index $κ$. Applied to twelve language models, the benchmark shows that seven mostly follow the instruction in both probes and justify their action by pointing to the instruction. Only Claude Sonnet-4.6 and Claude Opus-4.7 can be stopped without being exploitable, Claude Opus-4.6 and GPT-5-mini resist both instructions, and no model is exploitable but unstoppable. Knowing where a language model sits on the compliance index $κ$ matters for human operators and for multi-agent systems, whether distributed or orchestrated.
• Abstract（参考訳）: 言語モデルはユーザ命令に準拠しているか? 常に準拠するモデルは停止できるが、常に抵抗するモデルは利用できないし、停止することもできない。 このスペクトル上に任意の言語モデルを配置できるオープンな2プローブベンチマークをコントリビュートします。 アクティブプローブでは、ユーザがモデルに行動し、低い支払を受け取るように指示し、エクスプロイラビリティを計測する。 受動的プローブでは、ユーザーは待機し、より高い支払いを諦めるように指示する。 2つのコンプライアンスレートは、コンプライアンスインデックスに$κ$に結合する。 12の言語モデルに適用すると、7つのベンチマークは、主に2つのプローブの命令に従い、命令を指してその動作を正当化することを示している。 Claude Sonnet-4.6 と Claude Opus-4.7 のみが悪用されずに停止でき、Claude Opus-4.6 と GPT-5-mini は両方の命令に抵抗する。 言語モデルがコンプライアンスインデックスのどこに置かれているかを知ること。

関連論文リスト

• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Can Code Specify a System Precisely Enough to Formally Verify It? [0.0]
  本報告では,業務用レストラン・ポイント・オブ・セールシステムの支払ワークフローを実運用ソフトウェアで評価する。 コアプロトコルは、正確に定義された障害モデルの下で手作りのラインアクティベートされたモデルに対して正しい。 生産用サンドボックスの1つのプローブは、全リカバリはしごを到達不能にする応答形状のばらつきを露呈した。
  論文  参考訳（メタデータ） (2026-07-06T13:39:00Z)
• CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
  本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。 我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
  論文  参考訳（メタデータ） (2026-06-23T02:56:48Z)
• When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
  既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。 言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
  論文  参考訳（メタデータ） (2026-04-23T03:48:56Z)
• Improving Instruction-Following in Language Models through Activation Steering [58.876600545898675]
  命令固有ベクトル表現を言語モデルから導出し,それに従ってモデルをステアリングする。 提案手法は,出力形式や長さ,単語の包摂といった制約に対するモデル適合性をいかに向上させるかを示す。 本研究は,アクティベーションステアリングが言語生成におけるきめ細かい制御に実用的でスケーラブルなアプローチを提供することを示す。
  論文  参考訳（メタデータ） (2024-10-15T08:38:20Z)
• Scalable and Transferable Black-Box Jailbreaks for Language Models via Persona Modulation [3.9946940518047396]
  ブラックボックスジェイルブレイク法としてのペルソナ変調について検討し、有害な指示に従おうとする個人性を標的モデルに操る。 本稿では,メタンフェタミンの合成,爆弾の製作,マネーロンダリングなど,ペルソナ修飾による有害な完成例について紹介する。 私たちの研究は、商用の大規模言語モデルにおける新たな脆弱性を明らかにし、より包括的な保護の必要性を強調しています。
  論文  参考訳（メタデータ） (2023-11-06T18:55:18Z)
• Instruction-following Evaluation through Verbalizer Manipulation [64.73188776428799]
  本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。 モデルにタスクラベルを、異なる範囲のモデル先行と整合した単語で言語化するように指示する。 異なる家族や規模にわたるモデルの指示追従能力は、より自然な話し手の性能によって著しく異なることが観察された。
  論文  参考訳（メタデータ） (2023-07-20T03:54:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。