論文の概要: The Dataset Friction Framework: measuring user-facing friction as a complement to FAIR
- arxiv url: http://arxiv.org/abs/2606.23660v1
- Date: Mon, 22 Jun 2026 17:45:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 17:25:02.540848
- Title: The Dataset Friction Framework: measuring user-facing friction as a complement to FAIR
- Title(参考訳): Dataset Friction Framework:FAIRを補完するユーザ対面摩擦を測定する
- Authors: Emma Pidduck, Umberto Modigliani,
- Abstract要約: FAIRの原則は、データセットが十分に管理されているかどうかを記述している。
FAIRは、データセットを発見し、アクセスし、解釈し、適用するユーザにとってのコストを捉えない。
DFFは6次元にわたるユーザ対面摩擦を測定する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Open research data services have matured to the point where the cost of sustaining them at scale has become a primary design constraint, driving providers to make deliberate choices that may reduce user convenience to keep the service viable. The FAIR (Findable, Accessible, Interoperable, Reuseable) principles describe whether a dataset is well stewarded, and FAIR compliance is often treated as a proxy for usability. FAIR does not capture the cost to a user of finding, accessing, interpreting, and applying a dataset. We introduce the Dataset Friction Framework (DFF) as a complement to FAIR, directly addressing usability. DFF measures user-facing friction across six dimensions, distinguishing engineered friction (deliberate data provider design choices that sustain a service) from accidental friction (defects that require remediation). The framework is validated against 18,556 support tickets from the European Centre for Medium-Range Weather Forecasts (January 2024 to May 2026), which serves 280,000 registered users. Restricting the analysis to tickets raised by external reporters reduces the corpus by 12.3%, but every dimension's internal-staff share falls below this baseline -- confirming that the reported friction signals are genuinely user-facing. We then assess three real datasets across three providers and show that FAIR compliance and DFF friction can disagree in both directions: a 92% FAIR-compliant dataset can still carry substantial friction, and a 42% FAIR score can be an artefact of anti-scraping policy rather than poor stewardship. The two measures are non-redundant and jointly informative: FAIR compliance does not predict DFF friction in either direction. This constitutes the first large-scale empirical application of the framework; cross-institutional validation is identified as the immediate next step.
- Abstract(参考訳): オープンなリサーチデータサービスは、大規模に維持するコストが主要な設計制約になっている時点まで成熟しており、サービスの実現性を維持するためにユーザの利便性を低下させるような、意図的な選択をプロバイダに促している。
FAIR(Findable, Accessible, Interoperable, Reuseable)の原則は、データセットが適切に管理されているか、そしてFAIRのコンプライアンスは、しばしばユーザビリティのプロキシとして扱われる。
FAIRは、データセットを発見し、アクセスし、解釈し、適用するユーザにとってのコストを捉えない。
ユーザビリティに直接対処するため、FAIRの補完としてDataset Friction Framework(DFF)を紹介します。
DFFは、6次元にわたるユーザとの摩擦を測定し、エンジニアリングされた摩擦(サービスを維持するデータプロバイダの設計選択)と偶然の摩擦(修復を必要とする欠陥)を区別する。
このフレームワークは、欧州中距離気象予報センター(2024年1月から2026年5月)からの18,556人のサポートチケットに対して検証されている。
外部のレポーターが発行したチケットに対する分析の制限はコーパスを12.3%削減するが、各次元の内部スタッフのシェアはこのベースラインを下回る。
92%のFAIR準拠のデータセットは、依然として相当な摩擦を持ち、42%のFAIRスコアは、貧弱なスチュワードではなく、アンチスクラッピングポリシーの成果である。
FAIRコンプライアンスはDFF摩擦をどちらの方向にも予測しない。
これはフレームワークの大規模な経験的応用としては初めてであり、クロスインスティカルな検証はすぐに次のステップとして特定される。
関連論文リスト
- PReMISE: Policy Rubrics as Measurement Specifications for LLM Judges [33.739528721872844]
役に立ち、現実的」な回答を求めるあいまいなルーリックは、事実を発明したり、ユーザーの意図に反する、洗練された答えに報いることができる。
PReMISEは, 構造的妥当性, 信頼性, 嗜好適合性, 対向ロバスト性という4つの軸に沿って, LLM-judge の下で使用されるすべてのルーブリックを監査するフレームワークである。
選好ランク選択は、ペア化された応答の判定精度を65.0%から6.8.6%に引き上げ、最強のルーリック発見ベースラインと競合し、クロスジャッジスイープの審査員のうち2人を導いた。
論文 参考訳(メタデータ) (2026-05-29T03:45:11Z) - ProtegoFed: Backdoor-Free Federated Instruction Tuning with Interspersed Poisoned Data [50.142067708131826]
Federated Instruction Tuning (FIT)は、複数の組織(組織)にまたがる大規模な言語モデルの、プライベートなインストラクションの共有を必要とせずに、クロスサイロ環境での協調的なインストラクションチューニングを可能にする。
最近の研究では、有毒なサンプルが現実世界のデータセットに広範に埋め込まれており、たとえクライアントが良心的であっても、すべてのクライアントに分散している可能性が示唆されている。
ProtegoFedは、トレーニング中にクライアント間で汚染されたデータを正確に検出・浄化・分散する最初のバックドアフリーFITフレームワークである。
論文 参考訳(メタデータ) (2026-02-28T07:25:32Z) - Certifiably Byzantine-Robust Federated Conformal Prediction [49.23374238798428]
本稿では,悪意のあるクライアントに対する堅牢な共形予測を行う新しいフレームワークRob-FCPを提案する。
我々は、さまざまなビザンチン攻撃の下で、悪意のあるクライアントの多様な割合に対するRob-FCPの堅牢性を実証的に実証した。
論文 参考訳(メタデータ) (2024-06-04T04:43:30Z) - Mitigating Distributional Shift in Semantic Segmentation via Uncertainty
Estimation from Unlabelled Data [19.000718685399935]
本研究では,1回のフォワードパスで追加のアノテーションを使わずに,テストドメインの挑戦によるエラーを検出するセグメンテーションネットワークを提案する。
我々は、データ拡張に対する一貫性を強制することによって、不確実性推定を選択的に行うことを学ぶために、簡単で不正確で不確実なデータを使用する。
提案手法はGamma-SSLと名付けられ,不確実性推定とOoD(Out-of-Distribution)技術より一貫して優れている。
論文 参考訳(メタデータ) (2024-02-27T16:23:11Z) - FedRec+: Enhancing Privacy and Addressing Heterogeneity in Federated
Recommendation Systems [15.463595798992621]
FedRec+は、フェデレーションレコメンデーションシステムのためのアンサンブルフレームワークである。
プライバシーを強化し、エッジユーザの通信コストを低減します。
FedRec+の最先端性能を示す実験結果が得られた。
論文 参考訳(メタデータ) (2023-10-31T05:36:53Z) - G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks
through Attributed Client Graph Clustering [116.4277292854053]
Federated Learning (FL)は、データ共有なしで協調的なモデルトレーニングを提供する。
FLはバックドア攻撃に弱いため、有害なモデル重みがシステムの整合性を損なう。
本稿では、悪意のあるクライアントの識別を属性グラフクラスタリング問題として再解釈する保護フレームワークであるG$2$uardFLを提案する。
論文 参考訳(メタデータ) (2023-06-08T07:15:04Z) - Debiasing Recommendation by Learning Identifiable Latent Confounders [49.16119112336605]
コンバウンディングバイアスは、ユーザの露出とフィードバックの両方に影響を与える未測定変数の存在によって生じる。
既存の手法では,(1) 未測定変数について不確定な仮定を行うか,(2) 潜伏した共同創設者を直接ユーザの露出から推測する。
本稿では、上記の非識別問題の解決にプロキシ変数の集合を利用する新しい方法、すなわち、識別可能なデコノウ(iDCF)を提案する。
論文 参考訳(メタデータ) (2023-02-10T05:10:26Z) - Trustworthy Transparency by Design [57.67333075002697]
本稿では,ユーザ信頼とエクスペリエンスに関する研究を取り入れた,ソフトウェア設計のための透明性フレームワークを提案する。
私たちのフレームワークは、その設計に透明性を取り入れたソフトウェアの開発を可能にします。
論文 参考訳(メタデータ) (2021-03-19T12:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。