論文の概要: Preference Is Not Intervention: The Structure and Stability Boundaries of Reader-Specific Evidence Utility
- arxiv url: http://arxiv.org/abs/2608.17781v1
- Date: Tue, 18 Aug 2026 13:45:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.354662
- Title: Preference Is Not Intervention: The Structure and Stability Boundaries of Reader-Specific Evidence Utility
- Title(参考訳): 推奨は介入ではない - 読者特有のエビデンスユーティリティの構造と安定性の境界
- Abstract要約: MLシステムは、下流モデルの同一性に関する決定をますます要求するが、これはモデル固有の差異が入力局所的な相互作用ではなく再利用可能な構造を形成する場合にのみ有用である。
本研究では,制御された介入の下でエビデンスユーティリティを測定するRAG(Research-augmented Generation)でこれを検証する。
- 参考スコア(独自算出の注目度): 1.1083514956613383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ML systems increasingly condition decisions on downstream model identity, but this is useful only if model-specific differences form reusable structure rather than input-local interactions. We test this in retrieval-augmented generation (RAG), where evidence utility can be measured under controlled interventions. Holding query, evidence, task, scoring, and intervention fixed, nine readers disagree on effect sign in 33\% of jointly affected cells; reader$\times$query interaction explains 29.8\% of utility variance versus an 8.4\% permutation null; and self-selected evidence improves F1 by $+0.031$ ($t=3.39$). We then ask the sharper question: \emph{which components of this heterogeneity are stable reader properties across queries?} Separating three measurable objects---evidence \emph{activity}, \emph{ordinal preference}, and \emph{conditional signed direction}---we find ordinal reader geometry stable across four independent settings (split-half $ρ=0.60$--$0.83$): leave-one-out interventions, PRISM preferences, RAMDocs, and RAGuard. Signed geometry is task-bounded: weak in open-ended QA (0.14, 0.35), especially for misleading and irrelevant evidence, but strong in binary fact-checking (0.75) with no significant ordinal gap, though still below its sparsity-matched ceiling. Sparsity, decoding noise, and metric artifacts do not explain the main ordinal--signed gap. Finally, stable ordinal similarity fails to predict cross-reader intervention transfer (oracle-distance $ρ=-0.27$; regret reliability $-0.28$). Reader-specific utility exists, but preference is not intervention: stable ranking similarity does not license transfer of help/harm decisions.
- Abstract(参考訳): MLシステムは、下流モデルの同一性に関する決定をますます要求するが、これはモデル固有の差異が入力局所的な相互作用ではなく再利用可能な構造を形成する場合にのみ有用である。
我々はこの手法をRAG(Research-augmented Generation)においてテストし、そこではエビデンスユーティリティを制御された介入の下で測定することができる。
クエリー、エビデンス、タスク、スコアリング、介入が固定された場合、9人の読者は33\%の細胞で効果のサインについて意見が一致せず、リーダー$\times$queryの相互作用ではユーティリティ分散の29.8\%と8.4\%の置換nullが説明され、自己選択されたエビデンスはF1を+0.031$$(t=3.39$)改善する。
この不均一性のどのコンポーネントがクエリ間で安定した読み取り特性を持つのか?
測定可能な3つのオブジェクト --evidence \emph{ Activity}, \emph{ordinal preference}, \emph{conditional signed direction}-- を分離すると、4つの独立した設定(split-half $ρ=0.60$-0.83$): アウト・ワン・アウトの介入、PRISMの好み、RAMDocs、RAGuard。
符号付き幾何はタスクバウンドであり、特に誤解を招く証拠や無関係な証拠に対して弱い(0.14, 0.35)。
空間性、デコードノイズ、およびメートル法アーティファクトは、主順序符号のギャップを説明できない。
最後に、安定な順序的類似性は、クロスリーダーの介入伝達を予測するのに失敗する(racle-distance $ρ=-0.27$; regret reliability $-0.28$)。
安定したランキングの類似性はヘルプ/ハーム決定の転送を許可しない。
関連論文リスト
- Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [66.44527094471619]
本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。
3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
論文 参考訳(メタデータ) (2026-09-15T00:31:01Z) - Semantic Fibers and Cross-Gram Interference: A Calculus of Safety Drift in Overcomplete Representations [0.0]
デプロイされた言語モデルは、英語の有害な要求を拒否するが、その忠実な翻訳に従う。
我々はこの現象を監査同値関係で定式化する。
定式化された商、表現、メートル法、特徴辞書、スコアリングヘッド、しきい値、コントラストモデルに対して、得られた安全ドリフトは正確な線形代数的特徴を持つことを示す。
論文 参考訳(メタデータ) (2026-09-14T00:23:32Z) - Distribution-free inference on the number of changepoints [36.191356601153146]
K$ に束縛された分布自由な上層信頼度は自明で非形式的でなければならないことを示す。
我々は、$K$に有界な有限サンプル有効低信頼度を構築し、これを変更点数(CLOCC)に有界な等角曲線(Conformal LOwer)と呼ぶ。
論文 参考訳(メタデータ) (2026-09-08T04:26:54Z) - Why Is SHAP Not a Reliable Standalone Explanation Framework for Malware Detection? [42.01045847751035]
これらの保証は、信頼性のあるマルウェアの解釈には不十分である、と我々は主張する。
条件付きSHAPはモデルの特徴クレジットを$m-1$の冗長な特徴に対して1/m$で希釈する。
EMBER-2018、EMBER-2024、BODMASの固定光GBMとXGBoost検出器による実験により、これらの効果が確認された。
論文 参考訳(メタデータ) (2026-09-04T02:00:11Z) - When Do Internal Probes Beat Reading the Answer? Miscalibrated Readouts and Behavior-Concealed Knowledge in Language Models [0.0]
1200の論理的結論の検証を依頼された言語モデルは、毎回YESに答える。
隠れた状態の線形プローブは、0.96 AUCで正しい判定を読み取った。
判決がどこで失われるかを問うと、支配的な失敗は1つのスカラーであることがわかった。
診断は、90のセマンティックラベル構成で、5つのモデル、3つのファミリーの因子的、行動的精度が閾値オフセットの1つの関数に崩壊する。
論文 参考訳(メタデータ) (2026-09-04T00:26:45Z) - TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis [42.62413276719373]
信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。
この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。
信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
論文 参考訳(メタデータ) (2026-08-25T07:09:01Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - Detecting and Discriminating Operator Misspecification in Hybrid PDE-Parameter Learning: a Reference-Free Instrument, with Discrimination Bounded In Sample [0.0]
私たちは1つのフィットから読み取る楽器を作り、オラクルは持っていません。
回復時に神経推定器がTikhonov-regularized inversionに負ける、事前登録された負の機器である、装置の盲点を報告する。
論文 参考訳(メタデータ) (2026-08-04T21:20:44Z) - Semantic Drift in Bug Resolution: How Behavioral Signals Propagate from Reports to Tests and Patches [18.727291516223115]
Desc2Fixは、バグレポートのセマンティックアライメント、テストのトリガー、開発者による修正を測定するフレームワークである。
GPT-4o と DeepSeek-Chat を用いて,Defects4J と SWT-Bench の2,857 個のレポート・パッチを解析した。
論文 参考訳(メタデータ) (2026-07-20T22:32:23Z) - Teach it to stop, not just to click [0.0]
修復された政策の成功率は上流の足場に支配されていることを示す。
通常のk-seedレポートのためのライブラリ(cua_reliability)をリリースする。
論文 参考訳(メタデータ) (2026-07-19T08:46:06Z) - Resist and Update: Counterfactual Report Coordinates for Incentive-Compatible LLMs [4.721990925113432]
修飾言語モデルは、非証拠的な圧力下で定期的に誤レポートされる。
我々は2つの要求を調査し、抵抗(不当な圧力)と更新(認可された証拠をフォロー)する。
低ランクレポートのコーディネートを慎重にローカライズして,回答,信頼,注意を喚起する。
論文 参考訳(メタデータ) (2026-07-14T17:28:25Z) - Interface-Variant Dynamics in Software Ecosystems: Resolver-Induced Selection and Adoption in Package Graphs [0.2864713389096699]
本稿では,その観察が進化的レバーベリングではなく,負荷を伴うソフトウェア工学的推定器であるかどうかを問う。
インターフェースヒストリー,監査npm,Central,PyPI,crates.ioパッケージグラフ,パッケージマネージャリゾルバプローブの実行2100,クリーンコンフリクト確率からエコシステム固有の選択$s$を推定し,その測定値$s$を用いて,観測パッケージグラフ上のペアワイズ対応吸収過程を前方に評価する。
論文 参考訳(メタデータ) (2026-06-30T15:29:39Z) - Calibration, Not Compilation: Detecting and Repairing Misspecified Probabilistic Programs Written by Language Models [31.082191748525137]
言語モデルはますます確率的プログラムを書くようになる(NumPyro、Stan、Pyro)
すべてのユニットテストをコンパイルし、実行し、パスするプログラムは、偶数論的に間違っている。
したがって、正しい検証はテストスイートではなく、ベイズワークフロー自身である。
論文 参考訳(メタデータ) (2026-06-30T13:16:39Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳(メタデータ) (2026-05-13T18:01:05Z) - The Autocorrelation Blind Spot: Why 42% of Turn-Level Findings in LLM Conversation Analysis May Be Spurious [35.76482964927589]
202のマルチターン会話における66のターンレベルメトリクスの自己相関構造を特徴付ける。
標準プールテストでは,42%のアソシエーションがクラスタ・ロバスト補正に成功しなかった。
我々は、Chelton (1983) の有効自由度と会話レベルのブロックブートストラップを組み合わせた2段階補正フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-15T20:54:39Z) - Between the Layers Lies the Truth: Uncertainty Estimation in LLMs Using Intra-Layer Local Information Scores [36.86032736109853]
大きな言語モデル(LLM)は、しばしば自信を持って間違っているため、確実な不確実性推定(UE)が不可欠である。
本稿では,1つのフォワードパスを用いて内部表現における層間パターンをスコアリングする,コンパクトでインスタンスごとのUE手法を提案する。
論文 参考訳(メタデータ) (2026-03-17T08:35:14Z) - XFACTORS: Disentangled Information Bottleneck via Contrastive Supervision [37.140199946294565]
textscXFactorsは弱制御されたVAEフレームワークで、選択された要素のセットを乱し、明示的に制御する。
提案手法は遅延容量の増加とともに精度良くスケールし,実世界のデータセットCelebAで評価する。
論文 参考訳(メタデータ) (2026-01-29T13:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。