論文の概要: Towards Publicly Accountable Frontier LLMs: Building an External Scrutiny Ecosystem under the ASPIRE Framework

• arxiv url: http://arxiv.org/abs/2311.14711v1
• Date: Wed, 15 Nov 2023 10:25:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-03 13:39:34.475365
• Title: Towards Publicly Accountable Frontier LLMs: Building an External Scrutiny Ecosystem under the ASPIRE Framework
• Title（参考訳）: 公共会計フロンティアLSMに向けて:ASPIREフレームワークによる外部監視エコシステムの構築
• Authors: Markus Anderljung, Everett Thornton Smith, Joe O'Brien, Lisa Soder, Benjamin Bucknall, Emma Bluemke, Jonas Schuett, Robert Trager, Lacey Strahm, Rumman Chowdhury
• Abstract要約: 意思決定者は、そのような意思決定をより良くするための信頼できる情報ソースが必要です。 外部アクターをこれらのシステムの評価に巻き込むこと - 私たちが「外部精査」と呼ぶもの - は解決策を提供する。 我々は、フロンティアAIシステムの効果的な外部監視のための6つの要件を調査した。
• 参考スコア（独自算出の注目度）: 1.571517028043816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing integration of frontier large language models (LLMs) into society and the economy, decisions related to their training, deployment, and use have far-reaching implications. These decisions should not be left solely in the hands of frontier LLM developers. LLM users, civil society and policymakers need trustworthy sources of information to steer such decisions for the better. Involving outside actors in the evaluation of these systems - what we term 'external scrutiny' - via red-teaming, auditing, and external researcher access, offers a solution. Though there are encouraging signs of increasing external scrutiny of frontier LLMs, its success is not assured. In this paper, we survey six requirements for effective external scrutiny of frontier AI systems and organize them under the ASPIRE framework: Access, Searching attitude, Proportionality to the risks, Independence, Resources, and Expertise. We then illustrate how external scrutiny might function throughout the AI lifecycle and offer recommendations to policymakers.
• Abstract（参考訳）: フロンティア大規模言語モデル(llm)が社会と経済に統合されるにつれて、その訓練、展開、使用に関する決定は広範囲に及んでいる。 これらの決定はフロンティアllm開発者にのみ委ねるべきではない。 LLMのユーザー、市民社会、政策立案者は、そのような決定をよりよいものにするために信頼できる情報源を必要とする。 外部アクターをこれらのシステムの評価に巻き込むことで、"外部監視(external scrutiny)"と呼ばれるもの — レッドチーム、監査、外部研究者へのアクセスを通じて — は解決策を提供する。 フロンティアLSMの外部精査が増大する兆しはあるが、その成功は保証されていない。 本稿では、フロンティアaiシステムの効果的な外部調査のための6つの要件を調査し、アクセス、探索態度、リスクへの比例性、独立性、資源、専門知識というaspireの枠組みの下でそれらを組織化する。 次に、外部の監視がaiライフサイクル全体を通してどのように機能するかを説明し、政策立案者に推奨する。

関連論文リスト

• Large Language Model Safety: A Holistic Survey [35.42419096859496]
  大規模言語モデル(LLM)の急速な開発と展開により、人工知能の新たなフロンティアが導入された。 この調査は、LLMの安全性の現在の状況の概要を包括的に紹介し、価値のミスアライメント、敵の攻撃に対する堅牢性、誤用、自律的なAIリスクの4つの主要なカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2024-12-23T16:11:27Z)
• What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context [19.78140793942713]
  本稿では,マルチホップQAを扱う際に,LLMが好む不完全な文脈における外部知識に着目した。 犯罪手続法における証拠の連鎖(CoE)に着想を得て, LLMが好む知識は, 問題との関連と, 知識の相互支援の両方を維持すべきである,と特徴づける。 提案手法は,LLMの有効性,忠実性,頑健性,および単純検索型RAG(Retrieval-Augmented Generation)におけるCoEのユーザビリティについて検討するものである。
  論文  参考訳（メタデータ） (2024-12-17T07:49:49Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• Towards Trustworthy AI: A Review of Ethical and Robust Large Language Models [1.7466076090043157]
  大きな言語モデル(LLM)は多くの分野を変革できるが、その急速な開発は、監視、倫理的創造、ユーザ信頼の構築に重大な課題を生み出している。 この総合的なレビューは、意図しない害、透明性の欠如、攻撃に対する脆弱性、人的価値との整合性、環境への影響など、LLMにおける重要な信頼の問題について考察する。 これらの課題に対処するため、倫理的監視、業界説明責任、規制、公的な関与を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2024-06-01T14:47:58Z)
• A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
  大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。 我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。 これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
  論文  参考訳（メタデータ） (2024-05-02T22:43:02Z)
• Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science [65.77763092833348]
  大規模言語モデル(LLM)を利用したインテリジェントエージェントは、自律的な実験を行い、様々な分野にわたる科学的発見を促進する上で、大きな可能性を証明している。 彼らの能力は有望だが、これらのエージェントは安全性を慎重に考慮する必要がある新たな脆弱性も導入している。 本稿では,科学領域におけるLSMをベースとしたエージェントの脆弱性の徹底的な調査を行い,その誤用に伴う潜在的なリスクに光を当て,安全性対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-02-06T18:54:07Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
  大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。 本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。 ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-24T03:11:45Z)
• How Can Recommender Systems Benefit from Large Language Models: A Survey [82.06729592294322]
  大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。 我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
  論文  参考訳（メタデータ） (2023-06-09T11:31:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。