論文の概要: Red Teaming Contemporary AI Models: Insights from Spanish and Basque Perspectives

• arxiv url: http://arxiv.org/abs/2503.10192v1
• Date: Thu, 13 Mar 2025 09:27:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:55:15.867366
• Title: Red Teaming Contemporary AI Models: Insights from Spanish and Basque Perspectives
• Title（参考訳）: 赤チーム同時代のAIモデル:スペインとバスクの視点から
• Authors: Miguel Romero-Arjona, Pablo Valle, Juan C. Alonso, Ana B. Sánchez, Miriam Ugarte, Antonia Cazalilla, Vicente Cambrón, José A. Parejo, Aitor Arrieta, Sergio Segura,
• Abstract要約: スペイン政府は、スペイン語と共用言語をサポートするためにALIAを提案した。 10人の参加者が専門知識と創造性を使って、3つのAIモデルを手動でテストしました。 結果はすべてのモデルの脆弱性を明らかにし、バイアスは29.5%から50.6%であった。 これらの発見は、信頼できる信頼できるAIシステムを開発する上で、永続的な課題を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 4.751530093378855
• License:
• Abstract: The battle for AI leadership is on, with OpenAI in the United States and DeepSeek in China as key contenders. In response to these global trends, the Spanish government has proposed ALIA, a public and transparent AI infrastructure incorporating small language models designed to support Spanish and co-official languages such as Basque. This paper presents the results of Red Teaming sessions, where ten participants applied their expertise and creativity to manually test three of the latest models from these initiatives$\unicode{x2013}$OpenAI o3-mini, DeepSeek R1, and ALIA Salamandra$\unicode{x2013}$focusing on biases and safety concerns. The results, based on 670 conversations, revealed vulnerabilities in all the models under test, with biased or unsafe responses ranging from 29.5% in o3-mini to 50.6% in Salamandra. These findings underscore the persistent challenges in developing reliable and trustworthy AI systems, particularly those intended to support Spanish and Basque languages.
• Abstract（参考訳）: 米国ではOpenAI、中国ではDeepSeekが主要な候補となっている。 これらの世界的なトレンドに対応するために、スペイン政府は、バスク語やバスク語のようなスペイン語と共用言語をサポートするように設計された小さな言語モデルを組み込んだ、パブリックで透明なAIインフラストラクチャであるALIAを提案した。 このセッションでは,10人の参加者が,これらのイニシアティブから最新モデルの3つを手作業でテストするために,自身の専門知識と創造性を適用した。 結果は670の会話に基づいて、テスト中のすべてのモデルの脆弱性を明らかにし、偏りのある応答はo3-miniの29.5%からSaramandraの50.6%に及んだ。 これらの発見は、信頼できる信頼できるAIシステムを開発する上での永続的な課題、特にスペイン語とバスク語をサポートすることを意図した課題を浮き彫りにした。

関連論文リスト

• Aya Expanse: Combining Research Breakthroughs for a New Multilingual Frontier [72.5652085347547]
  8Bおよび32Bパラメータ多言語モデルの新世代であるAya Expanseモデルファミリを導入する。 Cohere For AIとCohereでの数年間の研究を活用することで、Aya Expanseは多言語パフォーマンスにおける新たな最先端技術を確立している。 Aya Expanse 8B と 32B が主要なオープンウェイトモデルより優れていることを示すために,23言語に翻訳された Arena-Hard-Auto データセットの評価を行った。
  論文  参考訳（メタデータ） (2024-12-05T15:41:06Z)
• AI Cyber Risk Benchmark: Automated Exploitation Capabilities [0.24578723416255752]
  自動ソフトウェアエクスプロイトにおけるAIモデルの能力とリスクを評価するための新しいベンチマークを導入する。 OpenAIのo1-previewやo1-mini、AnthropicのClaude-3.5-sonnet-20241022、Claude-3.5-sonnet-20240620など、主要な言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2024-10-29T10:57:11Z)
• How ChatGPT Changed the Media's Narratives on AI: A Semi-Automated Narrative Analysis Through Frame Semantics [0.25822445089477464]
  我々は、AIに言及した5つのニュース記事から収集された49,000以上の文のデータセットに対して、混合メソッドフレームセマンティクスに基づく分析を行う。 このデータセットは、OpenAIs ChatGPTのローンチを中心とした12ヶ月の期間をカバーしており、最も訪問者の多いオープンなニュース出版社から収集されている。
  論文  参考訳（メタデータ） (2024-08-12T13:02:31Z)
• The #Somos600M Project: Generating NLP resources that represent the diversity of the languages from LATAM, the Caribbean, and Spain [0.0]
  LATAM、カリブ海、スペインの言語は人工知能(AI)システムで表現する必要があるため、私たちは#Somos600Mプロジェクトを立ち上げた。 世界の人口の7.5%にも拘わらず、インストラクション・チューン・大型言語モデル(LLM)のデータセットは公開されていない。 我々は、教育と評価データセットの最初のバージョンを国際オープンソースコミュニティとして作成する方法について紹介する。
  論文  参考訳（メタデータ） (2024-07-01T23:01:41Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• SEACrowd: A Multilingual Multimodal Data Hub and Benchmark Suite for Southeast Asian Languages [64.10040374077994]
  SEACrowdは3つのモダリティにまたがる1000近い言語で標準化されたコーパスを統合する共同イニシアチブである。 私たちは、13のタスクにわたる36のネイティブ言語上のAIモデルの品質を評価し、SEAの現在のAI状況に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-06-14T15:23:39Z)
• AI Literacy in Low-Resource Languages:Insights from creating AI in Yoruba videos [0.0]
  このケーススタディでは、ヨルバでAIビデオを作成し、配布することで、このギャップを埋めることを探る。 プロジェクトは、ストーリーテリングとアクセス可能な説明を活用する、基礎的、中間的、そして高度なAI概念をカバーする26のビデオを開発した。 これらのビデオは費用対効果のある手法で制作され、YouTube、LinkedIn、Twitterに分散し、世界22か国で視聴された。
  論文  参考訳（メタデータ） (2024-03-05T12:27:28Z)
• The Role of Large Language Models in the Recognition of Territorial Sovereignty: An Analysis of the Construction of Legitimacy [67.44950222243865]
  Google MapsやLarge Language Models (LLM)のような技術ツールは、しばしば公平で客観的であると見なされる。 我々は、クリミア、ウェストバンク、トランスニトリアの3つの論争領域の事例を、ウィキペディアの情報と国連の決議に対するChatGPTの反応を比較して強調する。
  論文  参考訳（メタデータ） (2023-03-17T08:46:49Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。