論文の概要: The Implications of Open Generative Models in Human-Centered Data Science Work: A Case Study with Fact-Checking Organizations

• arxiv url: http://arxiv.org/abs/2408.01962v1
• Date: Sun, 4 Aug 2024 08:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 17:41:24.169201
• Title: The Implications of Open Generative Models in Human-Centered Data Science Work: A Case Study with Fact-Checking Organizations
• Title（参考訳）: 人間中心型データサイエンス研究におけるオープン生成モデルの意味:Fact-Checking Organizationsを事例として
• Authors: Robert Wolfe, Tanushree Mitra,
• Abstract要約: オープンモデルが組織に与える影響に注目し、AIを使って大量の循環的誤報を観察し分析する。 我々は6大陸20のファクトチェック機関で,N=24の専門家を対象にインタビュー調査を行った。 事実チェックを行う組織は、組織的自律性、データプライバシとオーナシップ、アプリケーション固有性、能力透明性のオープンモデルを好む。
• 参考スコア（独自算出の注目度）: 12.845170214324662
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Calls to use open generative language models in academic research have highlighted the need for reproducibility and transparency in scientific research. However, the impact of generative AI extends well beyond academia, as corporations and public interest organizations have begun integrating these models into their data science pipelines. We expand this lens to include the impact of open models on organizations, focusing specifically on fact-checking organizations, which use AI to observe and analyze large volumes of circulating misinformation, yet must also ensure the reproducibility and impartiality of their work. We wanted to understand where fact-checking organizations use open models in their data science pipelines; what motivates their use of open models or proprietary models; and how their use of open or proprietary models can inform research on the societal impact of generative AI. To answer these questions, we conducted an interview study with N=24 professionals at 20 fact-checking organizations on six continents. Based on these interviews, we offer a five-component conceptual model of where fact-checking organizations employ generative AI to support or automate parts of their data science pipeline, including Data Ingestion, Data Analysis, Data Retrieval, Data Delivery, and Data Sharing. We then provide taxonomies of fact-checking organizations' motivations for using open models and the limitations that prevent them for further adopting open models, finding that they prefer open models for Organizational Autonomy, Data Privacy and Ownership, Application Specificity, and Capability Transparency. However, they nonetheless use proprietary models due to perceived advantages in Performance, Usability, and Safety, as well as Opportunity Costs related to participation in emerging generative AI ecosystems. Our work provides novel perspective on open models in data-driven organizations.
• Abstract（参考訳）: 学術研究にオープンな生成言語モデルを使うことを求める声は、科学的研究において再現性と透明性の必要性を強調している。 しかし、企業や公益団体がこれらのモデルをデータサイエンスパイプラインに統合し始めているため、生成AIの影響は学界をはるかに超えている。 このレンズを拡大して、オープンモデルが組織に与える影響、特にファクトチェックの組織に焦点をあてる。AIを使用して循環する大量の誤報を観察し分析するが、同時に、彼らの作業の再現性と公平性も保証する必要がある。 私たちは、ファクトチェックを行う組織がデータサイエンスパイプラインでオープンモデルを使用する場所、オープンモデルやプロプライエタリモデルの使用を動機付けるもの、そしてオープンモデルやプロプライエタリモデルを使用することが、生成的AIの社会的影響に関する研究にどのように影響するかを理解したかったのです。 これらの疑問に答えるために,我々は6大陸20のファクトチェック組織において,N=24名の専門家を対象にインタビュー調査を行った。 これらのインタビューに基づいて、ファクトチェック組織は、データ取り込み、データ分析、データ検索、データ配信、データ共有など、データサイエンスパイプラインの一部をサポートし、自動化するために、生成AIを使用する5つのコンポーネントの概念モデルを提供します。 次に、オープンモデルの使用に対する事実チェックのモチベーションと、それらがさらにオープンモデルを採用するのを妨げる制限を分類し、彼らが組織的自律性、データプライバシとオーナシップ、アプリケーション固有性、能力透明性のオープンモデルを好むことを確認します。 しかしながら、パフォーマンス、ユーザビリティ、安全性のメリットが認識されていることや、新たな生成AIエコシステムへの参加に関連する機会コストのために、プロプライエタリなモデルを使用している。 私たちの研究は、データ駆動型組織におけるオープンモデルに関する新たな視点を提供します。

関連論文リスト

• Generative AI like ChatGPT in Blockchain Federated Learning: use cases, opportunities and future [4.497001527881303]
  本研究は、フェデレーション学習における生成AIの潜在的な統合について検討する。 GAN(generative adversarial Network)とVAE(variantal autoencoder) 合成データの生成は、限られたデータ可用性に関連する課題に、フェデレートされた学習を支援する。
  論文  参考訳（メタデータ） (2024-07-25T19:43:49Z)
• The Impact and Opportunities of Generative AI in Fact-Checking [12.845170214324662]
  生成AIは、OpenAIのフラッグシップGPTモデルを使用したフォーチュン500企業の90%以上が、ホワイトカラーの専門職を変革する可能性がある。 しかし、そのような技術は、事実情報の検証と報告を行う組織にどのように影響しますか? 我々は6大陸29のファクトチェック組織で働くN=38人を対象に30回のインタビューを行った。
  論文  参考訳（メタデータ） (2024-05-24T23:58:01Z)
• Best Practices and Lessons Learned on Synthetic Data [83.63271573197026]
  AIモデルの成功は、大規模で多様な、高品質なデータセットの可用性に依存している。 合成データは、現実世界のパターンを模倣する人工データを生成することによって、有望なソリューションとして現れてきた。
  論文  参考訳（メタデータ） (2024-04-11T06:34:17Z)
• The Model Openness Framework: Promoting Completeness and Openness for Reproducibility, Transparency, and Usability in Artificial Intelligence [0.0]
  モデルの完全性とオープン性に基づいて機械学習モデルを評価する3階層分類システムであるモデルオープンネスフレームワーク(MOF)を紹介する。 各MOFクラスに対して、モデル開発ライフサイクルのコード、データ、ドキュメントコンポーネントを定義します。 さらに、モデルオープンネスツール(MOT)は、MOF分類システムに対するモデルのオープン性と完全性を評価するために、ユーザフレンドリーなリファレンス実装を提供する。
  論文  参考訳（メタデータ） (2024-03-20T17:47:08Z)
• On Responsible Machine Learning Datasets with Fairness, Privacy, and Regulatory Norms [56.119374302685934]
  AI技術の信頼性に関する深刻な懸念があった。 機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。 本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:01:53Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Application of Federated Learning in Building a Robust COVID-19 Chest X-ray Classification Model [0.0]
  フェデレートラーニング(FL)は、すべてのデータを中央サーバに移動させることなく、AIモデルの一般化を支援する。 我々は、新型コロナウイルスの有無を予測するバイナリ分類問題を解決するために、ディープラーニングモデルを訓練した。
  論文  参考訳（メタデータ） (2022-04-22T05:21:50Z)
• On the Opportunities and Risks of Foundation Models [256.61956234436553]
  これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
  論文  参考訳（メタデータ） (2021-08-16T17:50:08Z)
• Explainable Patterns: Going from Findings to Insights to Support Data Analytics Democratization [60.18814584837969]
  我々は,データストーリテリングの探索と作成において,レイユーザをサポートする新しいフレームワークであるExplainable Patterns (ExPatt)を提示する。 ExPattは、外部(テキスト)の情報ソースを使用して、観察または選択された発見の実用的な説明を自動的に生成します。
  論文  参考訳（メタデータ） (2021-01-19T16:13:44Z)
• Principles and Practice of Explainable Machine Learning [12.47276164048813]
  本稿では、特に機械学習(ML)とパターン認識モデルに関するデータ駆動手法に焦点を当てる。 メソッドの頻度と複雑さが増すにつれて、少なくともビジネスの利害関係者はモデルの欠点に懸念を抱いている。 我々は、業界実践者が説明可能な機械学習の分野をよりよく理解するための調査を実施した。
  論文  参考訳（メタデータ） (2020-09-18T14:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。