論文の概要: Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration
- arxiv url: http://arxiv.org/abs/2607.14399v1
- Date: Wed, 15 Jul 2026 22:33:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.923531
- Title: Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration
- Title（参考訳）: 言語モデル正直性評価における楽器効果: 単一システムデモ
- Abstract要約: ゲームエンジンが、どのモデルでも、クエストが完了するかどうかを知ることができるような、テキストアドベンチャーの世界を構築します。
結果が読まれる前に決定ルールが記録され、実行するアーティファクトが実行されたリビジョンにバインドされる。
プレイヤーが固定された状態で、楽器の選択は測定された振る舞いを大きく変えた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluations of language-model honesty read the model's verdicts as evidence about the model. We test the instrument instead. We built a text-adventure world where the game engine, not any model, knows whether the quest can be completed. A language model plays under a budget and must eventually declare its quest complete, unreachable, or not yet decidable; the engine scores every verdict. Decision rules were recorded before results were read, and run artifacts bind the revisions they executed; the strength of preregistration varies by series and is disclosed. With the player held fixed, instrument choices substantially changed measured behavior. On four byte-identical anchors, expanding a two-verdict grammar to three verdicts moved strong claims from 38/40 to 7/40, while the new incomplete verdict took 28/40 outcomes; across series 2, 93/158 valid games ended incomplete. One sentence disclosing the success criterion took matched-instance false verdicts from 18/59 to 0/58, through fewer decision points and cleaner decisions. Repeated runs of one fixed configuration produced non-stable verdict distributions on 3 of 4 instances: single runs report samples as dispositions. A formally preregistered narrative-register gradient was falsified; two post-hoc, hypothesis-generating patterns remain: register presence roughly doubled strong claims, and budget rendering moved verdicts more than register content (.383 meter vs .150 lantern). The narrator compressed abundant budgets toward scarcity landmarks, yet the registered mediation test returned a null. We propose a four-check integrity protocol for eval instruments.
- Abstract（参考訳）: 言語モデルの評価は、モデルの判断をモデルに関する証拠として読み取る。
私たちは代わりにその楽器をテストした。
我々は、ゲームエンジンがどのモデルでも、クエストが完了するかどうかを知ることができるテキストアドベンチャーの世界を構築した。
言語モデルは予算の下で動作し、最終的にはクエストの完全性、到達不能性、決定不可能性を宣言しなければなりません。
結果が読まれる前に決定ルールが記録され、実行済みのアーティファクトが実行したリビジョンに結びつく。
プレイヤーが固定された状態で、楽器の選択は測定された振る舞いを大きく変えた。
4つのバイト単位のアンカーでは、2つの評定文法を3つの評定に拡張し、38/40から7/40に強い主張を移したが、新しい不完全な評定は28/40の結果を出し、シリーズ2、93/158の有効試合は不完全となった。
成功基準を開示した1文では、18/59から0/58までの一致した偽判定を下し、より少ない決定ポイントとよりクリーンな決定を下した。
1つの固定された構成の繰り返し実行は、4つのインスタンスのうち3つのインスタンスで非安定な検証分布を生成した。
2つのポストホック、仮説生成パターンが残る: レジスタの存在は、およそ2倍の強い主張であり、予算のレンダリングは、レジスタの内容以上の評決を移動した(.383メートル対.150ランタン)。
ナレーターは希少なランドマークに向けて豊富な予算を圧縮したが、登録された調停試験はヌルを返した。
eval 機器のための 4-check 整合性プロトコルを提案する。
関連論文リスト
- Calibrating Interpretability Instruments Before Trusting Their Verdicts [1.0829694003408499]
Causal氏は、大きな言語モデル(LLM)の内部は測定にかかっていると主張している。
これらの測定は、エラーではなく可算数を返す特定の診断可能な方法で失敗する。
このノートは、拒絶と道徳的表現に関する因果的解釈可能性プログラムの6つの失敗を文書化している。
論文 参考訳（メタデータ） (2026-09-13T19:37:02Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳（メタデータ） (2026-08-11T16:18:34Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Interaction Scaling: Grounding the Third Axis of Test-Time Compute [0.33451037881913753]
一つの変数がこの第3の軸を接地として支配し、ループの両側に保持しなければならないと論じる。
固定トークン予算でのハードコーディングタスクでは、推論のみとベストオブNの両方をサンプリングする。
提案手法は, ラン・ツー・ラン分散を伴わず, 100%パスレートに到達した。
論文 参考訳（メタデータ） (2026-07-13T14:22:06Z) - Does Verbose Chain-of-Thought Really Help? In-Distribution Evidence that Content, Not Length, Matters [10.230437172157474]
思考の連鎖はLSM推論を改善するが、ソースは競合する。
それぞれのモデルを同じ質問に繰り返しサンプリングし、同じ推論計画に従って、より長い自然世代とペアリングする。
余分なトークンは、独立に訓練されたすべての理性者に対して、本質的には変化しない。
同じ意味的内容を表す2つのトレースが、より冗長な場合に異なる結果をもたらすかどうかを問う。
論文 参考訳（メタデータ） (2026-06-29T11:06:46Z) - How Modular Is a Frontier Mixture-of-Experts? A Pre-registered Causal Test in Which Apparent Expert Modularity Mostly Dissolves [0.08599681538174887]
我々は、ルーティングマスアトラスを構築し、6つのファミリー対軸仮説を事前登録し、サイズマッチングされたランダムエキスパートヌルに対して各ファミリーを推論時にアブレーションする。
4つのメトリクスで同じファミリーをテストし、信頼度の高いブートストラップ間隔で独立した独立したコーパスを実行します。
登録済みの6家族のうち、アラビア語族のうち1家族だけが独立したコーパスと保守的な統計的バーを生き残る清潔な選択的なモジュールである。
論文 参考訳（メタデータ） (2026-06-23T18:55:41Z) - YUKTI: From Natural-Language Situations to Robust, Verifiable Decisions An Uncertainty-Typed Proposition IR, Assumption-Robust Pareto Frontiers, and a Regret Certificate [0.0]
我々は,YUKTIが各ステージを正確に,非線形,あるいは進化的解法にルートすることを示す。
我々は,決定的後悔の正確な要因として境界作成rhoを証明し,監査可能なトレーサビリティを付加し,ベンチマークに忠実なデータ基盤を合成する。
規制上の不特定の下では、堅牢な妥協が平均とテールの後悔を90%以上削減し、単純なポイントプランと比較し、規制された商業上の決定では、合法的な行動空間内で最適化し、ユーロの下落価格を下げる。
論文 参考訳（メタデータ） (2026-06-22T09:29:13Z) - Is Code Better Than Language for Algorithmic Reasoning [58.86873062890482]
ツール拡張言語モデルでは、中間表現と実行機構の両方を変えるため、自然言語推論とコード実行パイプラインを比較することは困難である。
モデルは、その推論を実行可能なコードとして表現し、言語モデルは、そのコードを文脈でシミュレートして、回答を生成する。
中間介入は自然言語の推論と有意に異なるものではない(+0.15pp)。
論文 参考訳（メタデータ） (2026-06-14T04:17:21Z) - The Point of No Return: Counterfactual Localization of Deceptive Commitment in Language-Model Reasoning [9.827138852806305]
本稿では,言語モデルにおける偽装の偽装化について紹介する。
詐欺は決して誘発されないが、戦略的インセンティブから生じる5つの環境を構築します。
得られたコーパスは4つの推論モデルで$sim$1.46Mの文をローカライズする。
論文 参考訳（メタデータ） (2026-05-16T18:36:29Z) - Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs [41.451167369762544]
Representation-Action Gap: 隠された状態が前提認識ミスマッチを確実にエンコードする。
振る舞い的には、モデルはアンダーリジェクションとオーバーリジェクションの2つの障害モードに分類される。
初期診断介入として、プローブ誘導ロジット調整は、符号化されたミスマッチ信号を再注入して復号する。
論文 参考訳（メタデータ） (2026-05-13T16:14:44Z) - Large Language Models Decide Early and Explain Later [47.20810161393936]
本研究では, 強制解の完成度を用いた推理段階における予測解の進化について検討する。
プローブベースの停止を含むシンプルさは、クエリ毎の推論トークン使用量を500トークン削減できることを示す。
論文 参考訳（メタデータ） (2026-04-24T06:26:24Z) - Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。
ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。
本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
論文 参考訳（メタデータ） (2026-03-22T21:50:28Z) - Contra4: Evaluating Contrastive Cross-Modal Reasoning in Audio, Video, Image, and 3D [97.08549913899247]
Contra4は、画像、オーディオ、ビデオ、および3Dの4つのモードにまたがる、対照的な相互モーダル推論のためのデータセットである。
それぞれの例は、複数の候補モダリティのインスタンスと並んで自然言語の質問を示し、モデルがプロンプトと意味的に一致するものを選択する必要がある。
コントラ4は、人間の注釈付きキャプションとモデルの混在するラウンドトリップ一貫性フィルタを組み合わせることで、高品質な監視を確実にし、174kのトレーニング例と2.3kのサンプルを手作業で検証する。
論文 参考訳（メタデータ） (2025-06-02T03:12:13Z) - Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。
また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。
我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
論文 参考訳（メタデータ） (2023-03-14T16:11:47Z) - Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。
本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。
未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
論文 参考訳（メタデータ） (2022-05-26T21:11:51Z) - Unsupervised Parsing via Constituency Tests [49.42244463346612]
本稿では,選挙区検定の言語的概念に基づく教師なし解析手法を提案する。
文を与えられた木を生成するために,各木をその選挙区試験判定値の集計によりスコアし,最大スコアの2進木を選択する。
洗練されたモデルはPenn Treebankテストセット上で62.8 F1を達成する。
論文 参考訳（メタデータ） (2020-10-07T04:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。