論文の概要: PROOF: Profiling Reliability of Object-Level Facts in Large Language Models
- arxiv url: http://arxiv.org/abs/2609.29504v1
- Date: Mon, 24 Aug 2026 17:13:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.049186
- Title: PROOF: Profiling Reliability of Object-Level Facts in Large Language Models
- Title（参考訳）: PROOF:大規模言語モデルにおけるオブジェクトレベルファクトの信頼性のプロファイリング
- Abstract要約: PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
- 参考スコア（独自算出の注目度）: 33.72751145910978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aggregate factuality scores hide where a language model succeeds, which relations it confuses, and whether an answer survives innocuous changes to the question or decoder. We introduce PROOF, a profile-oriented benchmark for factual coverage in instruction-tuned language models. PROOF converts a frozen Wikidata snapshot into 18,486 English multiple-choice questions grounded in 11,779 semantic facts, 101 classes, 392 properties, and 14 domains. Each question has an explicit "I don't know" option, a "No correct option" control, and nine controlled formulations; 1,849 questions are no-correct-option traps. We evaluate 18 open-weight model deployments on 166,374 prompts each and separately perturb decoding on a fixed 10% subset. Base factual accuracy ranges from 6.58% to 57.59% (chance: 8.64%), yet every model has a 19.3-36.4 percentage-point spread across domains. Paired facts reveal direction-dependent retrieval, usually favoring subject-to-object queries, with the pattern reversing for one model. We find no consistent temporal penalty after exact-stratum adjustment. Neutral wording changes accuracy by as much as 26.5 percentage points, while adversarial formulations break up to 79.4% of answers that were initially correct. Direct switching to an injected false label varies from 0.04% to 27.5%, showing that accuracy loss and hint following are distinct. Selected-token confidence often indicates severe overconfidence, and decoder perturbations move accuracy by up to 15.7 percentage points and domain profiles by 16.8 points. PROOF therefore measures factual coverage as a structured, intervention-aware profile rather than a single claim about what a model "believes."
- Abstract（参考訳）: 集約された事実性スコアは、言語モデルが成功する場所を隠蔽し、どの関係が混乱するか、答えが質問やデコーダに無害な変化を生き延びるかを隠蔽する。
ProOFは,命令調整言語モデルにおける実例カバレッジのためのプロファイル指向のベンチマークである。
PROOFは、凍結したWikidataスナップショットを、11,779のセマンティック事実、101のクラス、392のプロパティ、14のドメインからなる18,486の英語の多重選択質問に変換する。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
基本的な事実精度は6.58%から57.59%(率:8.64%)であるが、すべてのモデルが19.3-36.4パーセントのドメインに分散している。
Paired facts revealed direction-dependent search, often favoring subject-to-ject query, with the pattern reversing for one model。
精査後,一貫した時間的ペナルティは認められなかった。
中立語は最大26.5ポイントの精度で変化し、反対の定式化は最初は正しかった回答の79.4%まで分裂する。
注入された偽ラベルへの直接切り替えは0.04%から27.5%に変化しており、精度の低下とヒントの追従が異なることを示している。
選択された自信はしばしば深刻な過信を示し、デコーダの摂動は最大15.7%の精度で、ドメインプロファイルは16.8ポイントの精度で移動する。
したがって、PROOFはモデルが何を「信じる」かについての単一の主張ではなく、構造化された介入対応プロファイルとして事実のカバレッジを測定する。
関連論文リスト
- Are Stated Reasoning Steps Causally Load-Bearing? [0.0]
CoT(Chain-of- Thought)モニタリングは、モデルが書き込む推論は、その解を直接生成する計算を反映していると仮定する。
本手法は,活性化レベル,特に自己生成的推論に基づいて,忠実度を因果的に測定することを目的としている。
論文 参考訳（メタデータ） (2026-09-22T20:34:26Z) - Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。
提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。
記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
論文 参考訳（メタデータ） (2026-09-21T11:59:07Z) - Turkish MMLU Pro: Traceable Option Augmentation and Its Validity Limits in Turkish Multiple-Choice Evaluation [0.0]
回答オプションを追加することで、評価の妥当性を向上することなく、複数の選択のスコアを下げることができる。
トルコのMMLU Proは58のセクションで12,000のトルコ語ソースの質問を用いてこの区別を検証している。
論文 参考訳（メタデータ） (2026-09-14T12:28:09Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain [0.0]
ヘイトスピーチアノテーションパイプラインは、アノテータの不一致をトレーニング前に多数投票ラベルに分解する。
この集合が中立ではないことを示す。
高度化のための下流3つの介入は、すべて境界精度の回復に失敗する。
論文 参考訳（メタデータ） (2026-06-27T06:56:07Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。
15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。
まず、評価設計は結論を根本的に変えることができる。
第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
論文 参考訳（メタデータ） (2026-05-03T20:05:08Z) - When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models [2.064612766965483]
MedMCQA(4,183質問)とPubMedQA(1,000質問)でMedGemma(4Bおよび27Bパラメータ)を評価する。
実験の結果,いくつかの知見が得られた。
論文 参考訳（メタデータ） (2026-03-26T23:04:20Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。