論文の概要: Towards Publicly Accountable Frontier LLMs: Building an External Scrutiny Ecosystem under the ASPIRE Framework

• arxiv url: http://arxiv.org/abs/2311.14711v1
• Date: Wed, 15 Nov 2023 10:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 13:39:34.475365
• Title: Towards Publicly Accountable Frontier LLMs: Building an External Scrutiny Ecosystem under the ASPIRE Framework
• Title（参考訳）: 公共会計フロンティアLSMに向けて:ASPIREフレームワークによる外部監視エコシステムの構築
• Authors: Markus Anderljung, Everett Thornton Smith, Joe O'Brien, Lisa Soder, Benjamin Bucknall, Emma Bluemke, Jonas Schuett, Robert Trager, Lacey Strahm, Rumman Chowdhury
• Abstract要約: 意思決定者は、そのような意思決定をより良くするための信頼できる情報ソースが必要です。 外部アクターをこれらのシステムの評価に巻き込むこと - 私たちが「外部精査」と呼ぶもの - は解決策を提供する。 我々は、フロンティアAIシステムの効果的な外部監視のための6つの要件を調査した。
• 参考スコア（独自算出の注目度）: 1.571517028043816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing integration of frontier large language models (LLMs) into society and the economy, decisions related to their training, deployment, and use have far-reaching implications. These decisions should not be left solely in the hands of frontier LLM developers. LLM users, civil society and policymakers need trustworthy sources of information to steer such decisions for the better. Involving outside actors in the evaluation of these systems - what we term 'external scrutiny' - via red-teaming, auditing, and external researcher access, offers a solution. Though there are encouraging signs of increasing external scrutiny of frontier LLMs, its success is not assured. In this paper, we survey six requirements for effective external scrutiny of frontier AI systems and organize them under the ASPIRE framework: Access, Searching attitude, Proportionality to the risks, Independence, Resources, and Expertise. We then illustrate how external scrutiny might function throughout the AI lifecycle and offer recommendations to policymakers.
• Abstract（参考訳）: フロンティア大規模言語モデル(llm)が社会と経済に統合されるにつれて、その訓練、展開、使用に関する決定は広範囲に及んでいる。 これらの決定はフロンティアllm開発者にのみ委ねるべきではない。 LLMのユーザー、市民社会、政策立案者は、そのような決定をよりよいものにするために信頼できる情報源を必要とする。 外部アクターをこれらのシステムの評価に巻き込むことで、"外部監視(external scrutiny)"と呼ばれるもの — レッドチーム、監査、外部研究者へのアクセスを通じて — は解決策を提供する。 フロンティアLSMの外部精査が増大する兆しはあるが、その成功は保証されていない。 本稿では、フロンティアaiシステムの効果的な外部調査のための6つの要件を調査し、アクセス、探索態度、リスクへの比例性、独立性、資源、専門知識というaspireの枠組みの下でそれらを組織化する。 次に、外部の監視がaiライフサイクル全体を通してどのように機能するかを説明し、政策立案者に推奨する。

関連論文リスト

• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• On Large Language Models in National Security Applications [2.7624021966289605]
  2023年初頭のGPT-4の圧倒的な成功は、国家安全保障を含む様々な分野にわたる大規模言語モデル(LLM)の変革の可能性を強調した。 本稿では,情報処理,意思決定,運用効率に革命をもたらす可能性を分析し,国家安全保障におけるLLM統合の意義について考察する。
  論文  参考訳（メタデータ） (2024-07-03T18:53:22Z)
• Towards Trustworthy AI: A Review of Ethical and Robust Large Language Models [1.7466076090043157]
  大きな言語モデル(LLM)は多くの分野を変革できるが、その急速な開発は、監視、倫理的創造、ユーザ信頼の構築に重大な課題を生み出している。 この総合的なレビューは、意図しない害、透明性の欠如、攻撃に対する脆弱性、人的価値との整合性、環境への影響など、LLMにおける重要な信頼の問題について考察する。 これらの課題に対処するため、倫理的監視、業界説明責任、規制、公的な関与を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-06-01T14:47:58Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• Building Guardrails for Large Language Models [19.96292920696796]
  LLMの入力や出力をフィルタリングするガードレールは、コアセーフガード技術として登場した。 このポジションペーパーでは、現在のオープンソースソリューション(Llama Guard, Nvidia NeMo, Guardrails AI)を詳しく調べ、より完全なソリューションを構築するための課題と道筋について論じる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:00Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
  大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。 本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。 ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-24T03:11:45Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。