論文の概要: How to Elicit Explainability Requirements? A Comparison of Interviews, Focus Groups, and Surveys

• arxiv url: http://arxiv.org/abs/2505.23684v1
• Date: Thu, 29 May 2025 17:23:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:08.033119
• Title: How to Elicit Explainability Requirements? A Comparison of Interviews, Focus Groups, and Surveys
• Title（参考訳）: 説明可能性要件の緩和法 : インタビュー,フォーカスグループ,調査の比較
• Authors: Martin Obaidi, Jakob Droste, Hannah Deters, Marc Herrmann, Raymond Ochsner, Jil Klünder, Kurt Schneider,
• Abstract要約: 本研究は,焦点グループ,インタビュー,オンライン調査の3つの方法の有効性と有効性について検討した。 その結果,インタビューは最も効率的であり,参加者毎のニーズを最も多く捉えることができた。 効率とカバレッジのバランスをとるために、調査とインタビューを組み合わせたハイブリッドアプローチを推奨します。
• 参考スコア（独自算出の注目度）: 2.30929645503432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As software systems grow increasingly complex, explainability has become a crucial non-functional requirement for transparency, user trust, and regulatory compliance. Eliciting explainability requirements is challenging, as different methods capture varying levels of detail and structure. This study examines the efficiency and effectiveness of three commonly used elicitation methods - focus groups, interviews, and online surveys - while also assessing the role of taxonomy usage in structuring and improving the elicitation process. We conducted a case study at a large German IT consulting company, utilizing a web-based personnel management software. A total of two focus groups, 18 interviews, and an online survey with 188 participants were analyzed. The results show that interviews were the most efficient, capturing the highest number of distinct needs per participant per time spent. Surveys collected the most explanation needs overall but had high redundancy. Delayed taxonomy introduction resulted in a greater number and diversity of needs, suggesting that a two-phase approach is beneficial. Based on our findings, we recommend a hybrid approach combining surveys and interviews to balance efficiency and coverage. Future research should explore how automation can support elicitation and how taxonomies can be better integrated into different methods.
• Abstract（参考訳）: ソフトウェアシステムがますます複雑化するにつれて、透明性、ユーザ信頼、規制遵守のための非機能要件として説明責任が重要になってきています。 さまざまなメソッドがさまざまな詳細と構造をキャプチャするので、説明可能性要件の緩和は難しい。 本研究は、焦点グループ、面接、オンライン調査の3つの方法の有効性と効果について検討し、また、評価プロセスの構造化と改善における分類学的利用の役割について検討した。 我々は、Webベースの人事管理ソフトウェアを利用して、ドイツの大手ITコンサルティング会社でケーススタディを行った。 計2つのフォーカスグループ、18のインタビュー、および188人の参加者によるオンライン調査が分析された。 その結果,インタビューは最も効率的であり,参加者毎のニーズを最も多く捉えることができた。 調査は全体として最も説明の必要なものを集めたが、高い冗長性を持っていた。 遅れた分類の導入は、より多くのニーズと多様性をもたらし、2段階のアプローチが有益であることを示唆した。 本研究は, 調査とインタビューを組み合わせて, 効率とカバレッジのバランスをとるハイブリッドアプローチを提案する。 今後の研究は、自動化が導入をサポートする方法と、分類学を異なる手法にどのように組み込むかを検討するべきである。

関連論文リスト

• Feedback-Aware Monte Carlo Tree Search for Efficient Information Seeking in Goal-Oriented Conversations [10.352944689413398]
  本稿では,情報ゲインを最大化する質問を生成するために,Large Language Models (LLM) を組み合わせた適応型質問応答手法を提案する。 本稿では,(1)潜在的な質問に対する探索と活用のバランスをとる適応MCTSアルゴリズム,(2)事前経験を生かして今後の対話を導くクラスタリングに基づくフィードバックアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-25T03:42:22Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。 本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• A Comprehensive Survey on Retrieval Methods in Recommender Systems [32.1847120460637]
  本調査では,レコメンデータシステムの重要かつ見落とされがちな検索段階について検討する。 高精度かつ効率的なパーソナライズされた検索を実現するために,既存の作業を3つの重要な領域にまとめる。 特定の企業における検索実践のケーススタディを通じて、現在の産業応用を取り上げる。
  論文  参考訳（メタデータ） (2024-07-11T07:09:59Z)
• Thread: A Logic-Based Data Organization Paradigm for How-To Question Answering with Retrieval Augmented Generation [49.36436704082436]
  ハウツー質問は意思決定プロセスに不可欠なものであり、動的でステップバイステップの回答を必要とする。 我々は,現在のシステムがハウツー質問をより効果的に扱えるようにするための新しいデータ組織パラダイムThreadを提案する。
  論文  参考訳（メタデータ） (2024-06-19T09:14:41Z)
• Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search [89.1772985740272]
  混合開始型会話検索システムでは、質問を明確にすることで、意図を単一のクエリで表現するのに苦労するユーザを支援する。 マルチモーダル情報が関係するシナリオでは、非テクスチャ情報を用いることで、明確化のプロセスを改善することができると仮定する。 質問を明確にする4k以上のマルチモーダルを含むMelonというデータセットを収集し、14k以上の画像で濃縮する。 クエリの明確化フェーズにおけるマルチモーダルコンテンツの重要性を理解するために,いくつかの解析を行った。
  論文  参考訳（メタデータ） (2024-02-12T16:04:01Z)
• Promoting Research Collaboration with Open Data Driven Team Recommendation in Response to Call for Proposals [10.732914229005903]
  さまざまなAI手法を用いてチームを推薦する新しいシステムについて述べる。 短期と長期の目標のバランスをとるメトリクスに沿って、良さを最大化するためにチームを作ります。
  論文  参考訳（メタデータ） (2023-09-18T00:04:08Z)
• Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing [68.8204255655161]
  異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。 複数のデータ収集にまたがる研究インフラの性能を実証する。 仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
  論文  参考訳（メタデータ） (2021-06-10T15:49:58Z)
• Mining Implicit Relevance Feedback from User Behavior for Web Question Answering [92.45607094299181]
  本研究は,ユーザ行動と通過関連性との関連性を検討するための最初の研究である。 提案手法は,追加のラベル付きデータを使わずにパスランキングの精度を大幅に向上させる。 実際にこの研究は、グローバルな商用検索エンジンにおけるQAサービスの人為的ラベリングコストを大幅に削減する効果が証明されている。
  論文  参考訳（メタデータ） (2020-06-13T07:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。