論文の概要: Probing Perceptual Priors of MLLMs via Gibbs Sampling with Interpretable Generative Controls

• arxiv url: http://arxiv.org/abs/2608.27727v1
• Date: Thu, 27 Aug 2026 21:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.152959
• Title: Probing Perceptual Priors of MLLMs via Gibbs Sampling with Interpretable Generative Controls
• Title（参考訳）: 解釈可能な生成制御を用いたギブズサンプリングによるMLLMの知覚的優先順位の提案
• Abstract要約: あるタスクに対するモデルの振舞いは、それが受ける入力と、それが暗黙的に期待する刺激に対する分布によって、共同で決定される。 生成モデルを用いて,制御可能な軸に沿って刺激を発生させ,その空間上でギブスをサンプリングすることにより,モデルの知覚的事前分布を直接抽出する手法を提案する。
• 参考スコア（独自算出の注目度）: 30.071130311851277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A model's behavior on a task is jointly determined by the input it receives and the prior it brings in, i.e. the distribution over stimuli it implicitly expects. Interpretability research has traditionally studied models by holding inputs fixed and examining model responses either mechanistically, probing how internal structure represents inputs, or behaviorally, measuring how variation in inputs leads to variation in outputs. Neither reconstructs the prior distribution itself, since internal structure shows what a model can represent, not what it expects, and any fixed stimulus set leaves most of the possible input space unseen. In particular, such an input space in real-world settings, such as images seen by VLMs, is extremely high-dimensional and diverse. These priors thus remain a poorly understood component of models that nonetheless influence real-world behavior. We propose a method to sample from models' perceptual prior distributions directly, by steering a generative model to produce stimuli along controllable axes and running Gibbs sampling over that space with the model under study as the judge. We apply this to a variety of categories and target variables (such as trustworthiness in faces and cheapness in art images) and recover both canonical biases and surprising novel priors invisible to direct prompting, warranting further investigation of their downstream effects.
• Abstract（参考訳）: あるタスクに対するモデルの振舞いは、それが受ける入力と、それが暗黙的に期待する刺激に対する分布によって、共同で決定される。 解釈可能性の研究は伝統的に、入力を固定し、モデル応答を機械的に、内部構造がどのように入力を表すか、あるいは、入力の変動が出力の変動をもたらすかを測定することによってモデルを研究してきた。 内部構造はモデルが何を表現できるかを示さず、期待するものを示さず、固定された刺激セットは入力空間のほとんどを目にしないため、以前の分布自体を再構成することはない。 特に、VLMによる画像のような現実世界の設定におけるそのような入力空間は、非常に高次元で多様である。 したがって、これらの先行は、実際の行動に影響を及ぼすモデルにおいて、十分に理解されていない要素である。 生成モデルを用いて,制御可能な軸に沿って刺激を発生させ,その空間上でギブスをサンプリングすることにより,モデルの知覚的事前分布を直接抽出する手法を提案する。 これを様々なカテゴリや対象変数に適用し(例えば、顔の信頼性や芸術画像の安価さなど)、正準バイアスと驚くべき新奇小説の両方を直接的プロンプトに見えない形で回収し、下流効果のさらなる調査を保証します。

関連論文リスト

• APEX: Probing Neural Networks via Activation Perturbation [10.517751599566548]
  本稿では,ニューラルネットワークの推論時間探索パラダイムとして Activation Perturbation for Exploration (APEX) を導入する。 APEXは入力とモデルパラメータの両方を固定しながら、隠れたアクティベーションを摂動する。 この結果から,APEXは入力空間からのみアクセス可能な範囲を超えて,ニューラルネットワークを探索し,理解するための効果的な視点を提供することが示された。
  論文  参考訳（メタデータ） (2026-02-03T14:36:36Z)
• Did Models Sufficient Learn? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation [61.248535801314375]
  Subset-Selected Counterfactual Augmentation (SS-CA) 我々は,モデル予測を選択的に変更可能な最小空間領域集合を識別するために,対実的LIMAを開発した。 実験により,SS-CAは分布内テストデータ(ID)の一般化を改善し,分布外ベンチマーク(OOD)において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-15T08:39:22Z)
• Can Interpretation Predict Behavior on Unseen Data? [11.280404893713213]
  解釈可能性の研究は、モデルが特定のメカニズムに対するターゲットの介入にどのように反応するかを予測することを目的としている。 本稿では,分布外モデル行動を予測するツールとして,解釈可能性の約束と課題について考察する。
  論文  参考訳（メタデータ） (2025-07-08T23:07:33Z)
• Internal Causal Mechanisms Robustly Predict Language Model Out-of-Distribution Behaviors [61.92704516732144]
  正当性予測の最も堅牢な特徴は、モデルの振舞いに特徴的な因果的役割を果たすものであることを示す。 モデル出力の正しさを予測するために因果メカニズムを利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T00:31:39Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
  我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。 分類タスクで訓練された視覚モデルに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-15T18:37:24Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。