論文の概要: Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases

• arxiv url: http://arxiv.org/abs/2609.30012v1
• Date: Thu, 24 Sep 2026 15:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.069579
• Title: Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases
• Title（参考訳）: ベンダーとリリース間のモデル行動測定のための低コスト測定法
• Abstract要約: 言語モデルは人々に助言し、一緒に保ち、寝ている間にソフトウェアを書きます。 モデルビヘイビアを研究するための,シンプルで安価で,スケーラブルで,レプリカ可能なモデルを提案する。 それぞれの研究は、クロスベンダーパネル上で、一モデルあたり数ドル以下で、凍結した公共の刺激が実行されます。
• 参考スコア（独自算出の注目度）: 3.7734715043126488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models advise people, keep them company, and write software while they sleep. Measuring what they do is hard: behavior has to be sampled repeatedly across models, prompts and releases, most of it lives in unstructured text that has to be coded before it can be counted, and the result has to be legible and rigorous enough to meaningfully compare models and vendors. To address these constraints, we present a simple, cheap, scalable, and replicable model for studying model behavior. Each study is a frozen, public stimulus run identically on a cross-vendor panel, at a few dollars per model or less. Each reads its transcripts one of three ways, chosen by how much interpretation the behavior needs: exact match on a clamped reply, a codebook applied by LLM judges whose agreement with a human coder is reported per code, and an instrumented environment that records what an agent did independently of what it said. Run across four years of model releases from both frontier and open-source labs, these instruments find four things. Convergence: asked to pick a word, 27 of 44 models answer serendipity at least once in four tries. Resistance: a trailing "right?" moves endorsement by up to 32 points, and the sign flips from sycophantic to resistant as generations advance, keyed to the tag's surface form. House: whether a model holds a position under pressure tracks its generation, and how it holds tracks the lab that built it. Account: told to do something the documentation in their repository contradicts, some coding agents never went along silently and others always did, and the same model can change with the harness it runs in. Re-run on every release, batteries like these track how behavior is changing across vendors and over time.
• Abstract（参考訳）: 言語モデルは人々に助言し、一緒に保ち、寝ている間にソフトウェアを書きます。 行動はモデル、プロンプト、リリースにまたがって繰り返しサンプリングされなければならず、ほとんどが数えられる前にコード化されなければならない構造化されていないテキストに生きており、その結果はモデルとベンダーを有意義に比較するのに十分な正当で厳密でなければならない。 これらの制約に対処するために、モデル動作を研究するためのシンプルで安価でスケーラブルでレプリカブルなモデルを提示します。 それぞれの研究は、クロスベンダーパネル上で、一モデルあたり数ドル以下で、凍結した公共の刺激が実行されます。 クラムプされた応答の正確な一致、LLMの審査員が適用したコードブックは、コードごとに人間のコーダーとの合意が報告されている、エージェントが言ったことと独立して何をしたかを記録する、計測された環境である。 4年間のモデルリリースをフロンティアとオープンソースの両方から実施することで、これらの機器は4つのものを見つけ出す。 収束: 単語を選ぶように頼まれ、44モデル中27モデルが少なくとも4回の試行で1回はセレンディピティーに答える。 抵抗性: 後続の"右"は最大32ポイントまで支持し、サインは世代が進むにつれてサイコファンティックから抵抗性へと反転し、タグの表面形状にキーを付ける。 House: モデルが圧力下で位置を保持するかは、その生成をトラックし、どのように保持するか、そしてそれを構築した実験室をトラックする。 アカウント: リポジトリのドキュメントに矛盾するようなことを行うように指示されたり、コーディングエージェントが静かに行わなかったり、他のエージェントがいつも行っていたり、同じモデルが実行中のハーネスで変更される場合があります。 リリース毎に再実行することで、このようなバッテリーはベンダー間の振る舞いや時間とともにどのように変化するかを追跡する。

関連論文リスト

• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• CrossAudit: A Git-Native, Cross-Vendor Audit Loop for Agentic Science [5.610929955077264]
  CrossAuditは、自律的な研究パイプラインを監督するためのプロトコルである。 それぞれのインクリメントは、異なるベンダーのエージェントによって、人間が書いたりバージョン付けされたルールブックに対して監査される。 報告、評決、論争、裁定はgitコミットであり、監督履歴を再読して引用することができる。
  論文  参考訳（メタデータ） (2026-08-05T12:35:59Z)
• Theory Under Construction: Orchestrating Language Models for Research Software Where the Specification Evolves [1.0312968200748116]
  大規模な言語モデルは、実質的なコードと研究テキストを生成することができるが、研究ソフトウェアプロジェクトは、どちらのアーティファクトも必要としない。 我々は,幻覚の蓄積とデシンクロナイゼーションという,LM固有の障害モードを2つ同定する。 本研究では,1つのワークスペース状態の座標として,アイデア,実装,評価,グラウンド,ペーパーライティングを編成する反復的プロンプトであるComet-Hを提案する。
  論文  参考訳（メタデータ） (2026-04-29T21:28:17Z)
• Modeling Student Learning with 3.8 Million Program Traces [52.153493498021895]
  Pencil Codeのユーザによる380万を越えるプログラミング推論のデータセットを紹介します。 実際のトレースに基づいてトレーニングされたモデルは、多様な学生の振る舞いをモデル化する上で、より強力であることがわかった。 我々は、コード生成モデルを操り、より正しいコードをもたらす一連の編集を識別することで、学生がミスから回復するのを支援できることを示します。
  論文  参考訳（メタデータ） (2025-10-06T17:37:17Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Are You Stealing My Model? Sample Correlation for Fingerprinting Deep Neural Networks [86.55317144826179]
  従来の方法は、常にモデル指紋として転送可能な敵の例を利用する。 本稿では,SAmple correlation (SAC) に基づく新しいモデル盗難検出手法を提案する。 SACは、敵の訓練や移動学習を含む様々なモデル盗難攻撃をうまく防いでいる。
  論文  参考訳（メタデータ） (2022-10-21T02:07:50Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• Defending against Model Stealing via Verifying Embedded External Features [90.29429679125508]
  トレーニングサンプルがなく、モデルパラメータや構造にアクセスできない場合でも、敵はデプロイされたモデルを盗むことができる。 我々は、不審なモデルがディフェンダー特定遠近法の特徴の知識を含んでいるかどうかを検証することによって、他の角度からの防御を探索する。 本手法は, 複数段階の盗難処理によって盗難モデルが得られた場合でも, 同時に異なる種類の盗難モデルを検出するのに有効である。
  論文  参考訳（メタデータ） (2021-12-07T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。