論文の概要: Prompt-Counterfactual Explanations for Generative AI System Behavior

• arxiv url: http://arxiv.org/abs/2601.03156v1
• Date: Tue, 06 Jan 2026 16:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:13.021796
• Title: Prompt-Counterfactual Explanations for Generative AI System Behavior
• Title（参考訳）: 生成型AIシステム行動のためのプロンプト・コマンティカルな説明法
• Authors: Sofie Goethals, Foster Provost, João Sedoc,
• Abstract要約: 意思決定者は、生成AIシステムが特定の出力特性を示す原因を理解する必要がある。 この問題を調べるために、説明可能なAI文献から共通のテクニック、すなわち事実的説明を適用する。 本稿では,非決定論的,生成的AIシステムに反実的説明を適用するフレキシブルなフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.163855981741709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As generative AI systems become integrated into real-world applications, organizations increasingly need to be able to understand and interpret their behavior. In particular, decision-makers need to understand what causes generative AI systems to exhibit specific output characteristics. Within this general topic, this paper examines a key question: what is it about the input -the prompt- that causes an LLM-based generative AI system to produce output that exhibits specific characteristics, such as toxicity, negative sentiment, or political bias. To examine this question, we adapt a common technique from the Explainable AI literature: counterfactual explanations. We explain why traditional counterfactual explanations cannot be applied directly to generative AI systems, due to several differences in how generative AI systems function. We then propose a flexible framework that adapts counterfactual explanations to non-deterministic, generative AI systems in scenarios where downstream classifiers can reveal key characteristics of their outputs. Based on this framework, we introduce an algorithm for generating prompt-counterfactual explanations (PCEs). Finally, we demonstrate the production of counterfactual explanations for generative AI systems with three case studies, examining different output characteristics (viz., political leaning, toxicity, and sentiment). The case studies further show that PCEs can streamline prompt engineering to suppress undesirable output characteristics and can enhance red-teaming efforts to uncover additional prompts that elicit undesirable outputs. Ultimately, this work lays a foundation for prompt-focused interpretability in generative AI: a capability that will become indispensable as these models are entrusted with higher-stakes tasks and subject to emerging regulatory requirements for transparency and accountability.
• Abstract（参考訳）: 生成的AIシステムが現実世界のアプリケーションに統合されるにつれて、組織は自分たちの振る舞いを理解し、解釈しなければなりません。 特に、意思決定者は、生成AIシステムが特定の出力特性を示す原因を理解する必要がある。 本稿では, LLMをベースとした生成AIシステムが, 有害性, 否定的感情, 政治的偏見など, 特定の特徴を示すアウトプットを生成する原因となるインプット(プロンプト)について検討する。 この問題を調べるために、説明可能なAI文献から共通のテクニック、すなわち事実的説明を適用する。 生成AIシステムがどのように機能するかにいくつかの違いがあるため、従来の反事実的説明が生成AIシステムに直接適用できない理由を説明します。 次に、下流分類器が出力の重要な特徴を明らかにするシナリオにおいて、非決定論的で生成的なAIシステムに反実的説明を適用するフレキシブルなフレームワークを提案する。 そこで本研究では,PCE(Process-counterfactual explanations)を生成するアルゴリズムを提案する。 最後に,3つのケーススタディを持つ生成型AIシステムに対して,異なる出力特性(ビズ,政治的傾倒,毒性,感情)を検証した反実的説明を提示する。 ケーススタディでは、PCEは、望ましくない出力特性を抑えるために、エンジニアリングを効率化し、望ましくない出力を引き出す追加のプロンプトを明らかにするために、レッドチームの努力を強化することができることを示した。 最終的にこの研究は、生成的AIの迅速な解釈可能性の基礎を築き上げている。これらのモデルがより高いタスクを委譲され、透明性と説明責任に関する規制の新たな要件がもたらされるため、必須となる能力である。

関連論文リスト

• A Theory of Information, Variation, and Artificial Intelligence [0.0]
  実証研究の活発化は、生成AIの普及が情報、創造性、文化生産に顕著な均質化効果をもたらすことを示唆している。 本稿では、特殊領域内の知識を平らにする非常に均質化が、その知識をそれら全体で再結合可能な一貫したモジュールに同時にレンダリングする、と論じる。 この論文は、この緊張を解決するのに必要な認知的および制度的な足場を概説し、生成的AIがイノベーションの道具になるか、均質化されるかを決定する決定的な変数であると主張した。
  論文  参考訳（メタデータ） (2025-08-20T16:21:13Z)
• Knowledge Conceptualization Impacts RAG Efficacy [0.0786430477112975]
  本稿では,伝達可能な,解釈可能なニューロシンボリックAIシステムの設計について検討する。 具体的には、'Agentic Retrieval-Augmented Generation'システムと呼ばれるシステムのクラスに焦点を当てる。
  論文  参考訳（メタデータ） (2025-07-12T20:10:26Z)
• AI Automatons: AI Systems Intended to Imitate Humans [54.19152688545896]
  人々の行動、仕事、能力、類似性、または人間性を模倣するように設計されたAIシステムが増加している。 このようなAIシステムの研究、設計、展開、可用性は、幅広い法的、倫理的、その他の社会的影響に対する懸念を喚起している。
  論文  参考訳（メタデータ） (2025-03-04T03:55:38Z)
• Predictable Artificial Intelligence [77.1127726638209]
  本稿では予測可能なAIのアイデアと課題を紹介する。 それは、現在および将来のAIエコシステムの重要な妥当性指標を予測できる方法を探る。 予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
  論文  参考訳（メタデータ） (2023-10-09T21:36:21Z)
• Scope and Sense of Explainability for AI-Systems [0.0]
  高度に複雑で効率的なAIシステムの説明可能性に関する問題に重点が置かれる。 AIソリューションが完全に理解できないため、事前に破棄されるならば、インテリジェントシステムの可能性の大部分は無駄になる、という考えを支持する議論を詳しく説明する。
  論文  参考訳（メタデータ） (2021-12-20T14:25:05Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• Explanation Ontology: A Model of Explanations for User-Centered AI [3.1783442097247345]
  説明はしばしば、原則的でないポストホックな方法でAIシステムに追加されている。 これらのシステムの採用が拡大し、ユーザ中心の説明可能性に重点を置いているため、説明可能性について第一の考慮事項として扱う構造的表現が必要である。 我々は,説明の役割,システムとユーザ属性の双方をモデル化するための説明オントロジーを設計し,異なる文献に基づく説明型の範囲を設計する。
  論文  参考訳（メタデータ） (2020-10-04T03:53:35Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。