Fugu-MT 論文翻訳(概要): Bi-Fact: A Bidirectional Factorization-based Evaluation of Intent Extraction from UI Trajectories

論文の概要: Bi-Fact: A Bidirectional Factorization-based Evaluation of Intent Extraction from UI Trajectories

arxiv url: http://arxiv.org/abs/2502.13149v2
Date: Thu, 20 Feb 2025 18:17:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-21 14:25:32.934731
Title: Bi-Fact: A Bidirectional Factorization-based Evaluation of Intent Extraction from UI Trajectories
Title（参考訳）: Bi-Fact: UI軌道からのインテント抽出の双方向因子化に基づく評価
Authors: Sapir Caduri,
Abstract要約: Bi-Factは意図を原子的な事実に分解し、精度とリコールを評価するために双方向比較を行う。実験は、既存の指標と比較して、Bi-Factの人的判断との相関が優れていることを示した。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Evaluating intent extraction from GUIs demands accurate, fine-grained metrics. This paper introduces Bi-Fact, a novel method that decomposes intents into atomic facts and performs bidirectional comparisons to assess precision and recall. Experiments demonstrate Bi-Fact's superior correlation with human judgments compared to existing metrics, establishing a more robust evaluation framework for UI-driven intent understanding.
Abstract（参考訳）: GUIからの意図抽出を評価するには、正確できめ細かいメトリクスが必要です。本稿では、意図を原子事実に分解し、双方向比較を行い、精度とリコールを評価する新しい方法であるBi-Factを紹介する。実験では、UI駆動の意図理解のためのより堅牢な評価フレームワークを確立するために、既存のメトリクスと比較して、Bi-Factが人間の判断と優れた相関性を示す。

関連論文リスト

Explaining the Unexplained: Revealing Hidden Correlations for Better Interpretability [1.8274323268621635]
Real Explainer(RealExp)は、Shapley値を個々の特徴と特徴相関の重要度に分解する、解釈可能性の手法である。 RealExpは、個々の特徴とそれらの相互作用を正確に定量化することで、解釈可能性を高める。
論文参考訳（メタデータ） (2024-12-02T10:50:50Z)
Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文参考訳（メタデータ） (2023-08-28T03:03:03Z)
Towards Interpretable and Efficient Automatic Reference-Based Summarization Evaluation [160.07938471250048]
解釈可能性と効率性は、ニューラル自動メトリクスを採用する上で重要な2つの考慮事項である。我々は,参照ベース要約評価のための高性能自動メトリクスを開発する。
論文参考訳（メタデータ） (2023-03-07T02:49:50Z)
GEDI: A Graph-based End-to-end Data Imputation Framework [3.5478302034537705]
提案手法はトランスフォーマーネットワークとグラフ構造学習を用いて,観測における特徴と類似点間の文脈的関係を反復的に洗練する。メタラーニングフレームワークを使用して、下流の予測タスクに影響を及ぼす機能を選択する。実世界の大規模データセットで実験を行い,提案した計算プロセスが一貫して計算性能とラベル予測性能を向上させることを示す。
論文参考訳（メタデータ） (2022-08-13T05:16:40Z)
Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition [59.52434325897716]
DMUE(DMUE)という,アノテーションのあいまいさを2つの視点から解決するソリューションを提案する。前者に対しては,ラベル空間における潜伏分布をよりよく記述するために,補助的マルチブランチ学習フレームワークを導入する。後者の場合、インスタンス間の意味的特徴のペアワイズ関係を完全に活用して、インスタンス空間のあいまいさの程度を推定する。
論文参考訳（メタデータ） (2021-04-01T03:21:57Z)
A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文参考訳（メタデータ） (2021-03-31T18:28:14Z)
Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文参考訳（メタデータ） (2020-11-02T08:07:50Z)
Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文参考訳（メタデータ） (2020-07-21T13:27:09Z)
Toward Interpretability of Dual-Encoder Models for Dialogue Response Suggestions [18.117115200484708]
本稿では、2つのエンコーダから抽出した単語レベルの特徴の上位にアテンション機構を含む注意型二重エンコーダモデルを提案する。我々は、重要でない単語と望ましいラベルの相互情報を最小化するために、新しい正規化損失を設計する。実験では、Recall@1の精度と可視性の観点から、提案モデルの有効性を示す。
論文参考訳（メタデータ） (2020-03-02T21:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。