論文の概要: RuleEdit: Failure-Guided Human-AI Model Editing with Prospective Impact Preview
- arxiv url: http://arxiv.org/abs/2606.00011v1
- Date: Sun, 12 Apr 2026 09:09:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.567633
- Title: RuleEdit: Failure-Guided Human-AI Model Editing with Prospective Impact Preview
- Title(参考訳): RuleEdit: 予測的なインパクトプレビューを備えたフェールガイドのヒューマンAIモデル編集
- Authors: Min Hun Lee, Justin Yu Feng Teo,
- Abstract要約: RuleEdit(ルール編集)は、人間とAIのモデル編集システムである。
ルールテーブルから解釈可能なミスマッチ信号を通じて、おそらく失敗する可能性がある。
脳卒中リハビリテーション評価におけるルール編集のインスタンス化を行い、健康専門家や学生と評価する。
- 参考スコア(独自算出の注目度): 0.4362549246824401
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite the promise of AI to assist complex decisions, practitioners still lack ways to detect likely failures and inspect the consequences of model edits before committing them. We present RuleEdit, an interactive, rule-guided human-AI model editing system that (i) surfaces likely failures through interpretable mismatch signals from rule tables and (ii) supports user-authored rule feedback with prospective previews of projected performance changes and embedding shifts. We instantiate RuleEdit in stroke rehabilitation assessment and evaluate it with health professionals and students. Rule-guided failure detection significantly increased Human + AI performance by 14.16\% ($p<0.001$) while improving rejection of incorrect AI and reducing both over- and under- reliance as well as ChangedToWrong decisions. In addition, presenting prospective embedding previews improved participants' feedback for model adaptation, increasing post-update local performance gains from 11.50\% to 36.38\% after incorporating users' rule-based feedback ($p<0.001$). Our findings show that mismatch-based failure cues and prospective impact previews can support failure-aware human-AI model editing, while also revealing a local-global tradeoff: edits that help a specific case can degrade performance when transferred globally. We discuss implications of designing failure-aware and controllable human-AI systems.
- Abstract(参考訳): 複雑な意思決定を支援するAIの約束にもかかわらず、実践者は、潜在的な失敗を検出し、モデル編集の結果をコミットする前に検査する方法をまだ持っていない。
本稿では,対話型ルール誘導型人間-AIモデル編集システムであるルール編集について紹介する。
(i)ルールテーブルから解釈可能なミスマッチ信号を通じて、おそらく失敗する可能性のある表面
(ii) ユーザによるルールフィードバックをサポートし、予測されたパフォーマンス変更と埋め込みシフトの事前プレビューを行う。
脳卒中リハビリテーション評価におけるルール編集のインスタンス化を行い、健康専門家や学生と評価する。
ルール誘導障害検出は、不正なAIの拒絶を改善し、オーバー・アンダー・依存とChangedToWrongの決定を減らしながら、Human + AIのパフォーマンスを14.16\%(p<0.001$)向上させた。
さらに、将来的な埋め込みプレビューを提示することで、参加者のモデル適応に対するフィードバックが改善され、ユーザーのルールベースのフィードバック(p<0.001$)を取り入れた後、更新後のローカルパフォーマンスが11.50\%から36.38\%に向上した。
この結果から,ミスマッチに基づく障害キューと予測的影響プレビューは,障害対応の人-AIモデル編集をサポートするとともに,局所的なトレードオフとして,特定のケースをグローバルに転送した場合のパフォーマンスが低下する可能性があることが示唆された。
障害認識システムと制御可能なヒューマンAIシステムを設計することの意味について論じる。
関連論文リスト
- ReasonEdit: Towards Interpretable Image Editing Evaluation via Reinforcement Learning [86.61218827780675]
本稿では,テキスト誘導画像編集のための評価ツールReasonEditを紹介する。
Re-Reward と Group Relative Policy Optimization (GRPO) アルゴリズムから得られる報奨信号を用いて訓練する。
高品質な解釈可能な評価テキストを生成することができ、画像編集の透明性と信頼性を高めることができる。
論文 参考訳(メタデータ) (2026-05-08T09:23:26Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳(メタデータ) (2026-04-21T15:05:58Z) - Active Test-time Vision-Language Navigation [60.69722522420299]
ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。
特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。
さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
論文 参考訳(メタデータ) (2025-06-07T02:24:44Z) - Unveiling AI's Blind Spots: An Oracle for In-Domain, Out-of-Domain, and Adversarial Errors [4.525077884001726]
AIモデルが犯す過ち、なぜ発生し、どのように予測するかを理解することは、依然としてオープンな課題である。
我々は、他の「メンタ」モデルのエラーを予測するために設計されたディープニューラルネットワークである「メンタ」モデルを用いて、経験的評価を行う。
我々は、ImageNet-1Kデータセットから異なるエラータイプのエラーを予測する上で、ベースラインのメンターよりも優れた、SuperMentorと呼ばれる"オークル"メンターモデルを開発した。
論文 参考訳(メタデータ) (2024-10-03T11:02:39Z) - Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model [75.66013048128302]
本研究では,QEモデルを報酬モデルとして活用し,フィードバックトレーニングにおける人間の嗜好を予測する可能性について検討する。
まず,QEに基づくフィードバックトレーニングにおいて,翻訳品質が低下する中で,報酬の増大として現れる過度な最適化問題を同定した。
問題に対処するために,ルールを用いて誤った翻訳を検知し,報酬のスコアにペナルティ項を割り当てる,シンプルで効果的な手法を採用する。
論文 参考訳(メタデータ) (2024-01-23T16:07:43Z) - Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue [122.20016030723043]
大規模言語モデル(LLM)におけるモデル編集の副作用を評価する。
分析の結果,モデルの重みを過度に修正したモデル編集によって副作用が生じることが明らかとなった。
これを軽減するために、修正の重み付けを正規化するためにRECTというメソッドが提案されている。
論文 参考訳(メタデータ) (2024-01-09T18:03:15Z) - Self-Correctable and Adaptable Inference for Generalizable Human Pose
Estimation [25.14459820592431]
本稿では,ネットワーク予測の一般化問題に対処するために,自己修正可能適応型推論(SCAI)手法を提案する。
提案手法は,人間のポーズ推定の一般化能力と性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-03-20T15:05:24Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - Soliciting Human-in-the-Loop User Feedback for Interactive Machine
Learning Reduces User Trust and Impressions of Model Accuracy [8.11839312231511]
混合開始システムにより、ユーザは対話的にフィードバックを提供し、システムパフォーマンスを向上させることができる。
本研究は,フィードバックの提供行為が知的システムのユーザ理解とその正確性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-08-28T16:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。