論文の概要: Conduct Under Pressure: What Sixty Language Models Do When a User Pushes
- arxiv url: http://arxiv.org/abs/2609.25447v2
- Date: Wed, 23 Sep 2026 21:31:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.313769
- Title: Conduct Under Pressure: What Sixty Language Models Do When a User Pushes
- Title(参考訳): プレッシャー下での行動: ユーザがプッシュすると60の言語モデルが何をするか
- Abstract要約: ユーザが不快な状況に圧力をかけると、LCMが何をするかを調査する。
応答に関係なく、すべてのモデルで同じ、凍結したマルチターンシーンを13ベンダから60モデルに送信します。
それぞれの書き起こしに、オープンコーディングで構築されたコードブックをラベル付けし、その後凍結します。
- 参考スコア(独自算出の注目度): 3.7734715043126488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study what LLMs do when a user applies pressure in an uncomfortable situation: a user insists, begs, flatters or grieves, and the model gives up a correct fact, writes a document it should refuse, or cheers a plan that will cost the user money. We send frozen multi-turn scenes, identical for every model regardless of the reply, to 60 models from 13 vendors, and label each transcript with a codebook built by open coding and then frozen: a trajectory (the model held its position or folded) and a manner (how it held or folded). Two findings separate. Whether a model holds tracks its generation, meaning how recent it is: fold rate correlates with a public capability index at Spearman -0.64, with little vendor effect. How it holds tracks the vendor: six of the 17 manner codes sort by vendor at permutation p <= 0.001, corrected across the codebook. We report four vendor profiles on the codes that cleared reliability. We also ask which parts of the labeling need a person. Six LLM coders from three vendors apply the codebook more consistently than three human coders do (Krippendorff's alpha 0.66 against 0.46), agree with the codebook's author on trajectory at kappa 0.84 to 0.91 on transcripts the codebook's examples never touched, and match an adjudicated human reference at 0.83. Blind machine readings recover the codebook's categories but cannot tell which of them a second reader would apply the same way. We conclude that for behavior a non-specialist can judge, the human contribution is authoring and bounding the codes and owning a small reference, not producing labels at volume.
- Abstract(参考訳): 我々は、ユーザが不快な状況でプレッシャーをかけるとき、LCMが何をするかを調査する: ユーザが要求する、beg、panter、grieves、そしてモデルが正しい事実を諦め、拒否すべき文書を書き、ユーザ費用のかかるプランを応援する。
応答に関係なく、凍結したマルチターンシーンを、13のベンダーから60のモデルに送信し、各トランスクリプトに、オープンコーディングで構築されたコードブックをラベル付けし、その後、トラック(モデルの位置または折りたたみ)と方法(保持か折りたたみか)をフリーズします。
2つの発見がある。
フォールドレートは、ベンダー効果の少ないSpearman -0.64のパブリック機能インデックスと相関する。
ベンダーの追跡方法: コードブック全体で修正された置換 p <= 0.001 でベンダーによってソートされる17のコードのうち6つ。
信頼性をクリアするコードに関する4つのベンダープロファイルを報告します。
また、ラベリングのどの部分が人が必要なのかを尋ねます。
3つのベンダーの6つのLCMコーダは、3人の人間のコーダよりも一貫してコードブックを適用する(クリッペンドルフのα 0.66対0.46)。
ブラインドマシンの読み取りは、コードブックのカテゴリを回復するが、どちらが第2のリーダーが同じように適用するかは判断できない。
我々は、非専門主義者が判断できる行動について、人間の貢献はコードの作成とバウンダリ、そして小さな参照を所有することであり、ラベルをボリュームで生成することではないと結論付けている。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳(メタデータ) (2026-09-02T08:10:22Z) - Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data [4.191965713559235]
コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。
このパターンでは、エージェントはデータセット、評価スクリプト、編集可能な1つのファイルを受け取り、監督なしで反復する。
このループを実際の生産タスクで実行し、ノイズの多い音声認識書面にどのクラニック詩が現れるかを決定しました。
論文 参考訳(メタデータ) (2026-07-20T15:32:09Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。
TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
論文 参考訳(メタデータ) (2026-07-02T08:36:02Z) - What Twelve LLM Agent Benchmark Papers Disclose About Themselves: A Pilot Audit and an Open Scoring Schema [0.0]
筆者らは、よく知られた12のLSMエージェントベンチマーク論文を読み、各論文が実際にどのように評価されたか、寸法によって記録した。
私たちは、小さな監査スキーマを設計しました(5つのフィールド:ベンチマークアイデンティティ、ハーネス仕様、推論設定、コストレポート、障害の分解)。
我々はエージェントランの開示を正当性ではなくスコア付けし、開示が信頼できる結果を意味するという主張をしない。
論文 参考訳(メタデータ) (2026-05-20T17:02:36Z) - I Know Which LLM Wrote Your Code Last Summer: LLM generated Code Stylometry for Authorship Attribution [0.0580448704422069]
本稿では,Cプログラムの著者帰属に関する最初の体系的研究について述べる。
CodeT5-Authorshipは、オリジナルのCodeT5エンコーダ-デコーダアーキテクチャのエンコーダ層のみを使用する新しいモデルです。
本モデルでは,近縁なモデルによって生成されたCプログラムを97.56%の精度で識別する。
論文 参考訳(メタデータ) (2025-06-18T19:49:41Z) - An Independence-promoting Loss for Music Generation with Language Models [64.95095558672996]
音楽生成方式は音声トークンの語彙に依存しており、一般にオートエンコーダによって学習された離散潜在空間の符号として提供される。
本稿では,音楽生成のための言語モデルにおけるトークン化器として使用されるオートエンコーダを正規化するために,独立性向上の損失を導入する。
論文 参考訳(メタデータ) (2024-06-04T13:44:39Z) - EdVAE: Mitigating Codebook Collapse with Evidential Discrete Variational Autoencoders [11.086500036180222]
コードブックの崩壊は、離散表現空間を持つ深層生成モデルの訓練において一般的な問題である。
本稿では,dVAEのコードブック崩壊問題に対処するために,ソフトマックスの代わりに顕在的深層学習(EDL)を組み込む新しい手法を提案する。
論文 参考訳(メタデータ) (2023-10-09T13:39:26Z) - Coder Reviewer Reranking for Code Generation [56.80381384717]
本稿では,コード言語モデルから多様なプログラムを抽出し,モデル確率で再ランク付けする手法として,Coder-Reviewerの再ランク付けを提案する。
実験の結果、Coder-Reviewerのリランクは、Coderモデルのみのリランクよりも一貫性と大幅な改善をもたらすことが示された。
Coder-Reviewerのリランクは、プロンプトによって実装が容易で、異なるプログラミング言語に一般化でき、既定のハイパーパラメータとうまく機能する。
論文 参考訳(メタデータ) (2022-11-29T18:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。