論文の概要: Sensitivity or Criterion? Measuring and Moving When Language Models Act

• arxiv url: http://arxiv.org/abs/2610.15415v1
• Date: Sun, 11 Oct 2026 07:36:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.209366
• Title: Sensitivity or Criterion? Measuring and Moving When Language Models Act
• Title（参考訳）: 感性と基準 : 言語モデルが実行されたときの測定と移動
• Abstract要約: 物理的状態におけるツール使用の診断であるFlipActを紹介する。 注釈付ツールプロパティに関するルールは、各回答と格付けされたエビデンススコアを算出する。 質問は2対2のクワッドを形成し、状態が反転している間に必要な知識を固定する。
• 参考スコア（独自算出の注目度）: 16.44117065759644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Before an agent acts, it must decide whether action is warranted. A single accuracy cannot distinguish failure to recognize a warranted action from reluctance to act. Signal-detection theory separates sensitivity from criterion, but criteria estimated from authored binary labels depend on each benchmark's example mix. We introduce FlipAct, a diagnostic of tool use in physical states. A rule over annotated tool properties computes each answer and a graded evidence score, fixing the Yes/No boundary at zero across models. Questions form 2-by-2 quads that hold required knowledge fixed while the state flips. The slope of the fitted Yes-rate curve measures sensitivity; its crossing at one half measures criterion. Across 44 open models, sensitivity rises with size within a family, and its ranking agrees with three of four external when-to-act benchmarks. Models respond to evidence sign rather than magnitude, accepting actions that leave the state no better about as often as helpful ones. When Yes means act, most models are conservative across rephrasings; in some, this partly reflects a preference for No. Criterion is not determined by size. Activation steering shifts criterion with weights fixed; distillation from a model's own steered copy puts the shift into its weights without a significant sensitivity change. The distilled shift transfers to six external benchmarks, including two without Yes/No answers, while criterion-free AUC is preserved on the five benchmarks where it is available. Accuracy improves where models start conservative and declines or remains within error where they start permissive. Project page: https://sixundong.com/projects/flipact
• Abstract（参考訳）: エージェントが行動する前には、アクションが保証されているかどうかを判断しなければならない。 単一の精度では、保証された行動と行動への反抗を認識できない。 信号検出理論は感度を基準から分離するが、権限付きバイナリラベルから推定される基準は各ベンチマークのサンプルミックスに依存する。 物理的状態におけるツール使用の診断であるFlipActを紹介する。 注釈付きツールプロパティのルールは、各回答と評価されたエビデンススコアを計算し、モデル間のYes/No境界をゼロに固定する。 質問は2対2のクワッドを形成し、状態が反転している間に必要な知識を固定する。 装着されたYes-rate曲線の傾斜は感度を測り、半分の交差は基準を測る。 44のオープンモデル全体において、感度は家族内のサイズに応じて上昇し、そのランクは4つの外部時効ベンチマークのうち3つと一致している。 モデルはマグニチュードではなくエビデンスサインに反応し、州を去る行動は役に立つ行動ほど良くない。 Yes が行動を意味する場合、ほとんどのモデルは言い換えれば保守的であるが、一部では No が好まれる。 基準はサイズによって決定されない。 アクティベーションステアリングは重量を固定して基準をシフトする; モデル自身のステアリングコピーからの蒸留は、かなりの感度の変化を伴わずに重量にシフトする。 蒸留されたシフトは、Yes/Noの答えのない2つを含む6つの外部ベンチマークに転送される一方、基準のないAUCは利用可能な5つのベンチマークに保存される。 モデルは保守的になり、低下し、エラーに留まり、許容され始める。 プロジェクトページ:https://sixundong.com/projects/flipact

関連論文リスト

• What Would Falsify It? A Variable Specific Evidence Standard for Mechanistic Claims About Self Explanation [0.0]
  言語モデルがすでに与えられた答えを説明するとき、その答えを生成した計算を再利用するか、あるいは回答からのみストーリーを再構築するかを示します。 検証された変数の同一性を除去する変数固有nullと、それぞれ正の統計量とをペアリングするエビデンス標準を提案する。
  論文  参考訳（メタデータ） (2026-09-26T14:26:14Z)
• Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
  オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。 我々は,実行前の基準下での両使用量を評価した。 検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
  論文  参考訳（メタデータ） (2026-09-17T09:17:00Z)
• Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling [65.03665015319457]
  本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。 複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
  論文  参考訳（メタデータ） (2026-09-01T09:08:15Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
  新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。 適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。 DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
  論文  参考訳（メタデータ） (2026-06-30T20:57:51Z)
• LLM Judges Have Dark Current: A Psychometric Datasheet for LLM-as-a-Judge Evaluation [0.46664938579243564]
  我々は,真の真空入力下でのダーク電流を測定するジャッジプロトコルを導入する。 方向安定性の分解は、明らかなDelta0の選好が安定な表面応答または偽りの位置バイアスであることを示す。 厳密なネクタイ基準によりQwen32B Delta0の偽の嗜好は排除されるが、デルタ1の標的信号はデルタ5の感度を保ちながらタイツに吸収される。
  論文  参考訳（メタデータ） (2026-06-14T05:34:17Z)
• Measuring and Improving Behavioral Consistency in Large Language Models through Fact-Heuristic-Emotion State Enforcement [4.226475360842309]
  大規模言語モデル(LLM)は、実行中に同じ決定問題に対して異なる回答を与え、自身の事前回答がコンテキストとして返されるときにその決定を覆す。 モデル重みを変化させることなく、この不安定性を測定・部分的に低減できるかどうかを問う。 我々は,プロンプトレベルの状態強化層であるCognitive Kernel Model (CKM)をテストする。
  論文  参考訳（メタデータ） (2026-06-05T12:36:36Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation [17.386684382460242]
  大規模言語モデル(LLM)は、推論、質問応答、創造的記述といったタスクにおけるシステムの出力を評価するために、ますます使われてきている。 6つの判定モデルに対する評価プロンプトに挿入された制御キュー摂動合成メタデータラベルを用いて,この理想を検証した。 情報源,時間,年齢,性別,民族,教育的地位の6つのキュー族を調査する。
  論文  参考訳（メタデータ） (2026-02-08T14:45:23Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。