論文の概要: Predicting Multi-View Rashomon Representation: Can We Learn Where Models Disagree?
- arxiv url: http://arxiv.org/abs/2609.39848v1
- Date: Wed, 30 Sep 2026 14:39:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.921322
- Title: Predicting Multi-View Rashomon Representation: Can We Learn Where Models Disagree?
- Title(参考訳): 多視点ラショーモン表現の予測:モデルが診断する場所を学べるか?
- Abstract要約: ファンデーションモデルは、広範囲のアプリケーションで採用され、AIシステム内のコアブロックとして機能することが多い。
しかし、異なる基礎モデルが複数の異なる視点から同じ入力を符号化し、実質的な表現の不一致につながる可能性がある。
この不一致はしばしば、与えられたモデルが他のモデルと矛盾しない方法でエンコードしていることを示す。
- 参考スコア(独自算出の注目度): 33.81284633374174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Foundation models are increasingly adopted across a wide range of applications, often serving as core blocks within AI systems. Yet different foundation models may encode the same input from multiple different views, leading to substantial representation disagreement, which we term Rashomon Representation. Such disagreement often signals inputs that a given model encodes in a way inconsistent with other models, offering a valuable yet underexplored signal for input reliability estimation. While prior work has largely focused on measuring disagreement across multiple models with a representation set, we instead focus on predicting disagreement from a single representation. We hypothesize that this disagreement follows some consistent, input-dependent patterns rather than occurring at random. To test this, we quantify disagreement by comparing each sample's nearest neighbors across different models' representation spaces, then train a lightweight predictor that estimates disagreement from a single model's representation. At inference time, given a new input, the predictor uses that input's representation to tell whether it aligns with or diverges from those of other models. Extensive experiments across diverse foundation models and datasets show that representational disagreement is indeed input-dependent, predictable, and generalizable, enabling efficient reliability estimation of foundation models.
- Abstract(参考訳): ファンデーションモデルは、広範囲のアプリケーションで採用され、AIシステム内のコアブロックとして機能することが多い。
しかし、異なる基礎モデルが複数の異なる視点から同じ入力を符号化し、ラショモン表現と呼ばれる実質的な表現の相違をもたらす可能性がある。
このような不一致はしばしば、与えられたモデルが他のモデルと矛盾しない方法で符号化されていることを入力に示し、入力の信頼性を推定するために価値が低い信号を提供する。
以前の研究は、表現セットを持つ複数のモデル間の不一致を測ることに主に焦点を合わせてきたが、代わりに、1つの表現から不一致を予測することに重点を置いている。
この不一致はランダムに起こるのではなく、一貫した入力依存のパターンに従うという仮説を立てる。
これをテストするために、各サンプルの近傍を異なるモデルの表現空間で比較し、単一モデルの表現から不一致を推定する軽量な予測器を訓練することにより、不一致を定量化する。
推論時、新しい入力が与えられたとき、予測器はその入力の表現を使って、それが他のモデルのものと一致しているか、あるいは分岐するかを判断する。
多様な基礎モデルとデータセットにわたる広範な実験により、表現の不一致は、実際に入力に依存し、予測可能で、一般化可能であり、基礎モデルの効率的な信頼性推定を可能にすることが示されている。
関連論文リスト
- Formal Abductive Latent Explanations for Prototype-Based Networks [7.001970497421476]
ケースベースの推論ネットワークは、プロトタイプと呼ばれるトレーニングサンプルの入力とプロトタイプの部分の類似性に基づいて予測を行う。
このような説明は時に誤解を招くものであり、安全クリティカルな文脈での有用性を損なうものであることを示す。
本稿では, 予測を暗示するインスタンスの中間表現について, 十分な条件を表現する形式として, ALE(Abductive Latent Explanations)を提案する。
論文 参考訳(メタデータ) (2025-11-20T17:42:41Z) - When Does Closeness in Distribution Imply Representational Similarity? An Identifiability Perspective [9.578534178372829]
モデル分布間の小さなKullback--Leibler分散は、対応する表現が類似していることを保証するものではないことを証明する。
次に、近接性が表現的類似性を意味する分布距離を定義する。
合成実験において、より広いネットワークは我々の距離に近づき、より類似した表現を持つ分布を学習する。
論文 参考訳(メタデータ) (2025-06-04T09:44:22Z) - Predictive Churn with the Set of Good Models [61.00058053669447]
本稿では,予測的不整合という2つの無関係な概念の関連性について考察する。
予測多重性(英: predictive multiplicity)は、個々のサンプルに対して矛盾する予測を生成するモデルである。
2つ目の概念である予測チャーン(英: predictive churn)は、モデル更新前後の個々の予測の違いを調べるものである。
論文 参考訳(メタデータ) (2024-02-12T16:15:25Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳(メタデータ) (2023-10-23T04:35:58Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Quantifying Representation Reliability in Self-Supervised Learning Models [12.485580780944083]
自己教師付き学習モデルは、データから汎用的な表現を抽出する。
表現信頼性の形式的定義を導入する。
本稿では,下流タスクを優先課題と知らずに表現信頼性を推定するアンサンブルに基づく手法を提案する。
論文 参考訳(メタデータ) (2023-05-31T21:57:33Z) - PAMI: partition input and aggregate outputs for model interpretation [69.42924964776766]
本研究では、深層学習モデルが局所的な特徴を集約してモデル予測を行うという観察に基づいて、PAMIと呼ばれるシンプルで効果的な可視化フレームワークを提案する。
基本的な考え方は、入力の大多数を隠蔽し、元のモデル予測に対する保存された入力部の相対的な寄与として対応するモデル出力を使用することである。
複数のタスクに対する大規模な実験により,提案手法は,クラス固有の入力領域をより正確に見つけるために,既存の可視化手法よりも優れていることを確認した。
論文 参考訳(メタデータ) (2023-02-07T08:48:34Z) - Learning to Select Prototypical Parts for Interpretable Sequential Data
Modeling [7.376829794171344]
本稿では,原型概念の線形結合を用いた自己説明選択モデル(SESM)を提案する。
より良い解釈可能性を得るために,多様性,安定性,局所性など,複数の制約をトレーニング対象として設計する。
論文 参考訳(メタデータ) (2022-12-07T01:42:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。