論文の概要: Position: AI Leaderboards Are Underserving the Global South: A Case Study from India

• arxiv url: http://arxiv.org/abs/2608.18117v1
• Date: Sat, 04 Jul 2026 17:07:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.259274
• Title: Position: AI Leaderboards Are Underserving the Global South: A Case Study from India
• Title（参考訳）: AIリーダーボードが世界南部を守ろうとしている:インドを事例に
• Abstract要約: このポジションペーパーは、AIのリーダーボードは、グローバル・サウスに奉仕するのに構造的に不適であると主張している。 独立したガバナンス、利害対立政策、およびメートル法進化のメカニズムが欠如している、と氏は主張する。
• 参考スコア（独自算出の注目度）: 1.5395788242545405
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This position paper argues that AI leaderboards are structurally ill-suited to serving the Global South because they lack independent governance, conflict-of-interest policies, and mechanisms for metric evolution. The barrier is not missing data; high-quality regional benchmarks already exist: IndicSUPERB, MILU, and LAHAJA for India; IrokoBench for Africa; AlGhafa for Arabic. The barrier is institutional design. Global leaderboards do not include these benchmarks, and no governance mechanism compels them to do so. Commercial pressure corrects leaderboard failures when paying customers in the Global North are affected. The Global South lacks equivalent leverage. Without governance, failures affecting Hindi, Swahili, or Arabic speakers persist indefinitely as documented but unaddressed gaps. Using India as a case study (1.4 billion people, 22 scheduled languages, high-quality benchmarks, but no trusted aggregation), we report findings from a consultation with 58 AI practitioners showing consistent preference for formal governance and disclosure-based conflict management. The solution is not more data but better institutions: regional leaderboards with independent governance from the start.
• Abstract（参考訳）: このポジションペーパーでは、AIリーダーボードは、独立したガバナンス、紛争政策、およびメートル法進化のメカニズムが欠如しているため、グローバルサウスを提供するのに構造的に不適であると主張している。 インドではIndicSUPERB、MILU、LAHAJA、アフリカではIrokoBench、アラビアではAlGhafaなど、高品質な地域ベンチマークがすでに存在している。 障壁は制度設計です。 グローバルなリーダボードにはこれらのベンチマークは含まれておらず、ガバナンスメカニズムがそれを補完することはない。 グローバル・ノースの有料顧客が影響を受けると、商業的な圧力でリーダーボードの故障が修正される。 グローバル・サウスには同等のレバレッジがない。 ヒンディー語、スワヒリ語、またはアラビア語話者に影響を及ぼす失敗は、文書化されているが、規定されていないギャップとして無期限に続く。 インドをケーススタディとして(14億人、22の予定言語、高品質なベンチマーク、信頼できる集計は行わない)、フォーマルなガバナンスと開示に基づくコンフリクト管理を一貫して好む58人のAI実践者との協議から、調査結果を報告した。 ソリューションは単なるデータではなく,よりよい機関 – 独立したガバナンスを持つ地域リーダボード – にあります。

関連論文リスト

• Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework [0.0]
  政府は、国家AI能力、デジタル主権、多言語コンピューティングを強化するために、土着の基盤モデルに資金を供給している。 本稿では,インドの基盤モデルエコシステムを評価し,公的なベンチマークの証拠における明らかな能力ギャップが,評価の成熟度におけるギャップを反映しているかどうかを考察する。
  論文  参考訳（メタデータ） (2026-08-12T10:19:14Z)
• Open Veins of Algorithmic Auditing: Why AI Assessment Lags Behind Its Deployment in the Global South [45.88028371034407]
  人工知能は、グローバル・ノースに匹敵するペースで、グローバル・サウスに展開されている。 しかし、AIガバナンスはペースを保っていない。 本稿では,グローバルサウスAI評価のスパース領域におけるパターンについて述べるとともに,それが稀に発生する理由を説明する。
  論文  参考訳（メタデータ） (2026-07-23T13:39:38Z)
• Agents' Last Exam [275.79071391137074]
  Agents' Last Exam (ALE)は、AIエージェントを長期的、経済的に価値のある、現実のタスクで検証可能な結果で評価するために設計されたベンチマークである。 ALEは250以上の業界の専門家と共同で開発され、O*NET / SOC 2018を参照して定義された非物理産業をカバーしている。 現在の結果は、最も硬い層が飽和していないことを示している:主流のハーネスとバックボーンの構成で、平均フルパスレートは1%以下である。
  論文  参考訳（メタデータ） (2026-06-03T20:20:46Z)
• The Trust Paradox: How CS Researchers Engage LLM Leaderboards [49.627487948130444]
  リーダーボードは、標準化されたベンチマークを使用してAIモデルをランク付けするが、研究者の実際の実践をどのように形作るかは、実証的にも証明されていない。 我々は、実用的懐疑主義のほぼ普遍的なパラドックスを見出した:参加者はリーダーボードのランキングに深い不信を表明したが、彼らはそれらを粗悪な意思決定支援として使用し続けた。 これらの知見を,評価インフラと研究者の実際の使用方法とを一致させる具体的な設計勧告に翻訳する。
  論文  参考訳（メタデータ） (2026-05-27T18:09:26Z)
• When Agents Evolve, Institutions Follow [52.359340707289114]
  大規模言語モデル上に構築されたマルチエージェントシステムは、同じ課題に直面している。 彼らの中心的な問題は、個人の知性だけでなく、集団的な組織である。 我々は,4つの標準的ガバナンスパターンにまたがる7つの歴史的政治機関を,実行可能なマルチエージェントアーキテクチャに翻訳する。
  論文  参考訳（メタデータ） (2026-04-30T10:30:58Z)
• The Two Boundaries: Why Behavioral AI Governance Fails Structurally [0.0]
  私たちは、AIシステムが世界で果たす効果のガバナンス、アクションに重点を置いています。 ライスの定理は、このギャップがチューリング完全アーキテクチャの一般的な場合では決定できないことを証明している。 我々は,任意のAIガバナンスシステムの検証可能な基準として,コーディネートガバナンスを提案する。
  論文  参考訳（メタデータ） (2026-04-30T01:12:32Z)
• Global PIQA: Evaluating Physical Commonsense Reasoning Across 100+ Languages and Cultures [117.95352635059153]
  我々は100以上の言語を対象とした参加型コモンセンス推論ベンチマークであるGlobal PIQAを提案する。 グローバルPIQAの116の言語変種は、5つの大陸、14の言語族、23の文字体系をカバーしている。 グローバルPIQAの非並列分割では、50%以上の例が地元の食品、習慣、伝統、その他の文化的特有な要素を参照している。
  論文  参考訳（メタデータ） (2025-10-28T05:46:25Z)
• Whose Truth? Pluralistic Geo-Alignment for (Agentic) AI [42.108524228070756]
  適切、真実、法的と見なされるものは、文化的規範、政治的現実、法律によって地域によって大きく異なる可能性がある。 本稿では,重要な地理研究の課題を概観し,今後の研究課題を提案するとともに,アライメント感度を評価する方法の概要を述べる。
  論文  参考訳（メタデータ） (2025-08-07T14:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。