論文の概要: The Foundation Model Transparency Index v1.1: May 2024

• arxiv url: http://arxiv.org/abs/2407.12929v1
• Date: Wed, 17 Jul 2024 18:03:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 19:43:08.259360
• Title: The Foundation Model Transparency Index v1.1: May 2024
• Title（参考訳）: Foundation Model Transparency Index v1.1: May 2024
• Authors: Rishi Bommasani, Kevin Klyman, Sayash Kapoor, Shayne Longpre, Betty Xiong, Nestor Maslej, Percy Liang,
• Abstract要約: 2023年10月、インデクスは100の透明性指標について10の主要なファンデーションモデル開発者を評価した。 当時、開発者は非常に限られた情報を公開しており、平均スコアは100点中37点だった。 開発者は、平均して100点中58点を獲得し、v1.0よりも21点改善している。
• 参考スコア（独自算出の注目度）: 54.78174872757794
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are increasingly consequential yet extremely opaque. To characterize the status quo, the Foundation Model Transparency Index was launched in October 2023 to measure the transparency of leading foundation model developers. The October 2023 Index (v1.0) assessed 10 major foundation model developers (e.g. OpenAI, Google) on 100 transparency indicators (e.g. does the developer disclose the wages it pays for data labor?). At the time, developers publicly disclosed very limited information with the average score being 37 out of 100. To understand how the status quo has changed, we conduct a follow-up study (v1.1) after 6 months: we score 14 developers against the same 100 indicators. While in v1.0 we searched for publicly available information, in v1.1 developers submit reports on the 100 transparency indicators, potentially including information that was not previously public. We find that developers now score 58 out of 100 on average, a 21 point improvement over v1.0. Much of this increase is driven by developers disclosing information during the v1.1 process: on average, developers disclosed information related to 16.6 indicators that was not previously public. We observe regions of sustained (i.e. across v1.0 and v1.1) and systemic (i.e. across most or all developers) opacity such as on copyright status, data access, data labor, and downstream impact. We publish transparency reports for each developer that consolidate information disclosures: these reports are based on the information disclosed to us via developers. Our findings demonstrate that transparency can be improved in this nascent ecosystem, the Foundation Model Transparency Index likely contributes to these improvements, and policymakers should consider interventions in areas where transparency has not improved.
• Abstract（参考訳）: ファンデーションモデルは、徐々に連続しているが非常に不透明になっている。 現状を特徴付けるため、ファンデーションモデル透明性指数は2023年10月に開始され、主要なファンデーションモデル開発者の透明性を測った。 2023年10月(v1.0)は、10の主要な基盤モデル開発者(例えばOpenAI、Google)を100の透明性指標で評価した。 当時、開発者は非常に限られた情報を公開しており、平均スコアは100点中37点だった。 現状がどう変わったのかを理解するために、6ヶ月後にフォローアップ調査(v1.1)を実施します。 v1.0では、公開情報を探しましたが、v1.1では、開発者は、以前は公開されていなかった情報を含む、100の透明性指標に関するレポートを提出しました。 開発者は、平均して100点中58点を獲得し、v1.0よりも21点改善している。 この増加の多くは、v1.1プロセス中に情報を開示する開発者が引き起こしている: 平均して、開発者は以前は公開されていなかった16.6指標に関する情報を公開した。 我々は、持続的な(v1.0とv1.1)領域と、著作権状態、データアクセス、データ労働力、下流への影響など、システム的(ほとんどの開発者またはすべての開発者)不透明さを観察する。 私たちは、情報開示を統合する開発者毎の透明性レポートを公開しています。 この発見は、この初期段階のエコシステムにおいて透明性が向上できることを示し、ファンデーションモデル透明性指数がこれらの改善に寄与する可能性を示し、政策立案者は透明性が改善されていない領域における介入を検討するべきである。

関連論文リスト

• Automated Transparency: A Legal and Empirical Analysis of the Digital Services Act Transparency Database [6.070078201123852]
  2022年11月1日、デジタルサービス法(DSA)が採択された。 DSAは、オンラインプラットフォームがコンテンツモデレーションの決定を報告する必要性を強調している(理由のステートメント' - SoRs)。 SoRは現在、2023年9月に欧州委員会によってローンチされたDSA Transparency Databaseで利用可能である。 本研究の目的は,透明性データベースがDSAの透明性の約束を果たすのに役立つかどうかを理解することである。
  論文  参考訳（メタデータ） (2024-04-03T17:51:20Z)
• Foundation Model Transparency Reports [61.313836337206894]
  本稿では,ソーシャルメディアにおける透明性レポートの実践を参考に,基礎モデル透明性レポートを提案する。 ソーシャルメディアの透明性レポートの成功と欠点から、6つの設計原則を特定します。 十分に設計された透明性レポートは、規制要件の重複によるコンプライアンスコストの低減につながる可能性がある。
  論文  参考訳（メタデータ） (2024-02-26T03:09:06Z)
• OWSM v3.1: Better and Faster Open Whisper-Style Speech Models based on E-Branchformer [67.75820725013372]
  Open Whisperスタイルの音声モデル(OWSM)は、公開データとオープンソースツールキットを使用してOpenAI Whisperを再現するための最初のステップである。 OWSM v3.1 は100M から 1B のパラメータを含む一連の E-Branchformer ベースのモデルを示す。 OWSM v3.1は、ほとんどの評価ベンチマークにおいて、以前のOWSM v3よりも優れ、推論速度は25%向上した。
  論文  参考訳（メタデータ） (2024-01-30T01:22:18Z)
• The Foundation Model Transparency Index [55.862805799199194]
  Foundation Model Transparency Indexは、ファンデーションモデルの透明性を規定する100の指標を規定している。 私たちは、彼らの旗艦となる基盤モデルのプラクティスに関連して、開発者をスコア付けします。 全体として、インデックスは、基盤モデルガバナンスの進展を促進するために、今日の透明性のレベルを確立します。
  論文  参考訳（メタデータ） (2023-10-19T17:39:02Z)
• Rethinking People Analytics With Inverse Transparency by Design [57.67333075002697]
  我々は、デザインによる逆透過性(inverse transparency)と呼ぶ、労働分析のための新しい設計手法を提案する。 アーキテクチャの変更はコア機能を阻害することなく行われます。 我々は、デザインによる逆透明性は、受け入れられ、責任ある人々の分析を実現するための有望なアプローチである、と結論付けている。
  論文  参考訳（メタデータ） (2023-05-16T21:37:35Z)
• Trustworthy Transparency by Design [57.67333075002697]
  本稿では,ユーザ信頼とエクスペリエンスに関する研究を取り入れた,ソフトウェア設計のための透明性フレームワークを提案する。 私たちのフレームワークは、その設計に透明性を取り入れたソフトウェアの開発を可能にします。
  論文  参考訳（メタデータ） (2021-03-19T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。