Fugu-MT 論文翻訳(概要): Beyond QA Matching: Perturbation-Response Fingerprinting via Probability Distributions for Large Language Models

論文の概要: Beyond QA Matching: Perturbation-Response Fingerprinting via Probability Distributions for Large Language Models

arxiv url: http://arxiv.org/abs/2609.06330v1
Date: Sun, 06 Sep 2026 01:35:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-12 05:58:06.479378
Title: Beyond QA Matching: Perturbation-Response Fingerprinting via Probability Distributions for Large Language Models
Title（参考訳）: QAマッチングを超えて:大言語モデルに対する確率分布による摂動応答フィンガープリント
Abstract要約: BReFは,4つの回答選択ラベルA/B/C/D上の確率分布を,制御摂動下での確率分布と比較した無訓練指紋である。 34個のチェックポイント、22個の直接親関係、および411個の疑似候補対を持つ統一されたベンチマークにおいて、BReFは22/22のケースで文書化された親を検索する。同じ家族による差別は困難であり、ペアリングテストではTop-25コントロールよりも精度の高い精度が向上している。
参考スコア（独自算出の注目度）: 12.84004924761875
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models are often instruction-tuned, specialized, quantized, or otherwise transformed, making fine-grained provenance difficult. In this paper, we introduce BReF, a training-free fingerprint that compares how probability distributions over four answer-option labels A/B/C/D move under controlled textual perturbations. For each pair of models, BReF selects 25 jointly responsive probes and compares their perturbation log-ratio (PLR) response directions by global cosine similarity. On a unified benchmark with 34 checkpoints, 22 documented direct-parent relations, and 411 suspect-candidate pairs, BReF retrieves the documented parent in 22/22 cases (MRR=1.0000), with DP-DF AUC 1.0000. Same-family discrimination is harder (DP-SF AUC 0.8969), and paired tests show a significant exact-retrieval gain over a magnitude-only Top-25 control. Together with static, random-probe, permutation, calibration, and transformation-level controls, the results show that strong pooled separation does not guarantee correct parent ranking among closely related checkpoints, verifying the superiority of our work.
Abstract（参考訳）: 大規模言語モデルは、しばしば命令調整、特殊化、量子化、あるいは変換され、きめ細かい証明が困難になる。本稿では,4つの回答選択ラベルA/B/C/D上の確率分布を,制御されたテキスト摂動の下でどのように移動するかを比較する,トレーニング不要な指紋であるBReFを紹介する。それぞれのモデルに対して、BReFは25個の共同応答型プローブを選択し、その摂動対数比(PLR)応答方向を大域コサイン類似度で比較する。 34個のチェックポイント、22個の直接親関係、411個の疑似候補ペアを持つ統一されたベンチマークにおいて、BReFは22/22ケース(MRR=1.0000)で、DP-DF AUC 1.0000で文書化された親を検索する。同じ家族による差別は難しい(DP-SF AUC 0.8969)。その結果、静的、ランダムプローブ、置換、キャリブレーション、変換レベルの制御とともに、強いプール分離は、密接に関連するチェックポイント間の正しい親のランクを保証せず、我々の作業の優越性を検証していることがわかった。

関連論文リスト

Coding Agents Have Converged: Why the SWE-bench Leaderboard Can No Longer Order Its Top Entries, and What to Measure Instead [9.25138311822007]
コーディングエージェントのリーダーボードにおける小さな違いは、しばしばシステムの順序付けとして読まれる。モデルを実行せずに4分割で254件のSWE-benchを提出し,この読解をサポートするかどうかを検証した。パーティションと5段階の監査プロトコルをリリースし、共有結果のプロファイリング、ペアの違いのテスト、感度の報告、解決に必要なインスタンス予算の見積を行います。
論文参考訳（メタデータ） (2026-09-15T16:29:12Z)
Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文参考訳（メタデータ） (2026-07-29T15:55:31Z)
EvidentialRAG: Quantifying and Mitigating Information Conflict in Multi-Source Retrieval-Augmented Generation via Evidential Deep Learning [0.2730969268472861]
本稿では,取得したチャンクを生成前に確率的証拠に変換する不確実性を考慮したRAGフレームワークであるERAGを紹介する。 CRAG、ConflictQA、MuSiQueの実験は、ERAGが標準質問応答における最強一致ベースラインと競争力を維持していることを示している。
論文参考訳（メタデータ） (2026-07-11T21:56:15Z)
When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
論文参考訳（メタデータ） (2026-07-09T02:46:51Z)
Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文参考訳（メタデータ） (2026-06-04T05:43:12Z)
CAPS: Cascaded Adaptive Pairwise Selection for Efficient Parallel Reasoning [24.596125996494717]
CAPSは2つの軸に沿って不均一に検証器を割り当てる推論のみのフレームワークである。 CAPSは、コードに対する検証対象の予算の25.4%を使用しながら、20組中14組で先頭のペアワイズ検証器を上回っている。
論文参考訳（メタデータ） (2026-05-15T01:16:12Z)
Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文参考訳（メタデータ） (2026-05-08T07:08:25Z)
Heterogeneous Ordinal Structure Learning with Bayesian Nonparametric Complexity Discovery [1.089614199781423]
既存の順序構造学習者は、すべての回答者に対して共有指向非巡回グラフ(DAG)を仮定する。最近の順序的グラフィカルモデルアプローチは、クラスタ固有のDAG推定ではなく、サブグループ発見に焦点を当てている。
論文参考訳（メタデータ） (2026-05-05T18:32:49Z)
SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文参考訳（メタデータ） (2026-01-19T23:37:10Z)
CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文参考訳（メタデータ） (2025-10-02T02:14:33Z)
Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文参考訳（メタデータ） (2025-09-25T14:05:55Z)
Two-Sample Testing on Ranked Preference Data and the Role of Modeling Assumptions [57.77347280992548]
本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。私たちのテストでは、基本的に分布に関する仮定は必要ありません。実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
論文参考訳（メタデータ） (2020-06-21T20:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。