論文の概要: When Does Permutation Instability Generalize? Independent-View Validation for Listwise LLM Reranking
- arxiv url: http://arxiv.org/abs/2609.26251v1
- Date: Thu, 13 Aug 2026 03:40:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.934342
- Title: When Does Permutation Instability Generalize? Independent-View Validation for Listwise LLM Reranking
- Title(参考訳): 置換不安定性はいつ一般化されるか : リストワイドLLMの再評価のための独立視点検証
- Abstract要約: リストワイズ言語モデルリランカは、等価な候補置換に異を唱える。
有限不安定診断は、追加のサンプリング、アグリゲーション、選択的な計算の動機付けに使用される。
有限ビュー不安定度スコアが未確認順列を予測するという主張にどのように影響するかを考察する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Listwise language-model rerankers often disagree across equivalent candidate permutations. Finite instability diagnostics are therefore used to motivate additional sampling, aggregation, or selective computation. But an association with a validation statistic that reuses the probe views need not isolate predictive information about unseen permutations. Shared measurements can induce classical part-whole association. We study how this affects claims that a finite-view instability score predicts unseen permutations. We derive the exact finite-view decomposition and prospectively compare zero, one, and two reused views, including a fully disjoint four-view target. The study covers two pinned 7B model families and two recommendation datasets, with controlled lists for signed offline analysis and untouched retriever lists for target-free replication. On the four controlled blocks, fully disjoint correlations are weak or heterogeneous (-0.061 to 0.281), whereas reusing both probe views yields 0.600 to 0.718; all paired contrasts are large (0.436 to 0.661) and Holm-significant. The overlap effect is positive in all four untouched-list blocks. Increasing the probe from two to four views clearly improves disjoint reliability in only one block. Moreover, the probe predicts aggregation-movement magnitude (Spearman rho = 0.142 to 0.426) but not stable signed target benefit, and 7 of 12 fixed-fraction probe-routing points are strictly dominated at measured cost. Thus, when the intended estimand is predictive information about unseen perturbation behavior, validation targets must be observation-disjoint from the probe to isolate that information; signed utility and cost-sensitive decisions remain separate questions.
- Abstract(参考訳): リストワイズ言語モデルのリランカは、等価な候補置換によく反対する。
したがって、有限不安定診断は追加のサンプリング、アグリゲーション、選択的な計算の動機付けに使用される。
しかし、プローブビューを再利用する検証統計学との関連性は、目に見えない順列に関する予測情報を分離する必要はない。
共有測定は、古典的なパート・ホール・アソシエーションを誘導することができる。
有限ビュー不安定度スコアが未確認順列を予測するという主張にどのように影響するかを考察する。
完全有限ビュー分解を導出し、0, 1, 2つの再利用されたビューを前向きに比較する。
この研究は、2つのピン付き7Bモデルファミリと2つのレコメンデーションデータセットをカバーし、署名されたオフライン分析のためのコントロールリストと、ターゲットフリーレプリケーションのための未修正レトリバーリストを含んでいる。
4つの制御ブロックでは、完全不整合相関は弱か不均一(-0.061から0.281)であるが、両方のプローブビューの再利用は0.600から0.718となり、全ての対のコントラストは0.436から0.661)とホルム因子である。
オーバーラップ効果は4つの非タッチリストブロックで正である。
プローブを2つから4つのビューに増やすことで、たった1ブロックで不整合信頼性が向上する。
さらに、プローブは凝集運動度(Spearman rho = 0.142 - 0.426)を予測するが、安定な符号付き目標利得ではなく、12個の固定屈折プローブルーティングポイントのうち7つは、測定コストで厳密に支配される。
したがって、意図された推定が、目に見えない摂動行動に関する予測情報である場合、検証対象は、その情報を分離するために、プローブから観察的に分離されなければならない。
関連論文リスト
- Discover, Falsify, Revise: Auditing Input-Use Claims from Source Code to Predictive Contribution in Agent-Discovered Cell Models [14.115576492673249]
AI仮想細胞は、特定の介入に対する細胞応答を予測することを目的としている。
CellAUDITを導入し、入力が参照された計算に入力できるかどうかを問うことで、入力利用請求を監査する。
論文 参考訳(メタデータ) (2026-09-23T02:07:27Z) - Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation [28.97096038427138]
全28個のCHASE DB1画像と両アノテーションを用いて網膜血管分割の選択について検討した。
ランダムな森林では、マキシミンは21本中19本で閾値を変化させるが、最悪のサーバのDiceは70.53パーセントから70.45パーセントに低下する。
IdenticalObserver-1-tuned random-forest masks score 73.6% againstObserver 1 and 71.06% againstObserver 2
論文 参考訳(メタデータ) (2026-09-22T02:41:33Z) - Observational Indistinguishability and Integrity Blind Regions in Hybrid Quantum-Classical Workflows [0.0]
本稿では,ハイブリッド量子古典的ワークフロー整合性のためのクレーム相対的エビデンス/参照フレームワークを提案する。
観測上の不明瞭さは、有限バッチ統計ミスとは異なる構造的な盲点をもたらす。
論文 参考訳(メタデータ) (2026-09-15T13:16:37Z) - Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳(メタデータ) (2026-09-15T11:19:03Z) - A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation [14.867869624585886]
評価器の構成妥当性を2次元プロファイルとして定式化する。
S と R は独立であり、スカラーの要約がすべての関連する比較を保存することはないことを示す。
これらの結果から, 評価対象構造の変化に対して, 高判定基準は弱い感度で共存できることが示唆された。
論文 参考訳(メタデータ) (2026-08-25T11:32:54Z) - Ghost: Plausible Yet Unlearnable Trajectories via On-Manifold Substitution for Next-POI Privacy [34.07056031726073]
チェックイントラジェクトリをリリースするパブリッシャは、ユーザの将来位置の強い予測器を不注意に公開する。
このリスクに対処するために、クリーンなテスト入力に対して次点次点(next-POI)の精度を低下させた被害者モデルを生成する、学習不能なトラジェクトリ、摂動シーケンスを生成する。
我々はGhostを提案する。Ghostは、摂動が人間のチェックインシーケンスのように見えるが、学習可能な信号は残っていない。
論文 参考訳(メタデータ) (2026-06-02T14:31:14Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳(メタデータ) (2026-05-27T03:41:11Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳(メタデータ) (2026-04-08T23:32:06Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。
我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。
全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
論文 参考訳(メタデータ) (2025-08-28T04:13:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。