論文の概要: Aligned: A Platform-based Process for Alignment
- arxiv url: http://arxiv.org/abs/2311.08706v1
- Date: Wed, 15 Nov 2023 05:12:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-11-16 17:14:43.322822
- Title: Aligned: A Platform-based Process for Alignment
- Title(参考訳): Aligned: アライメントのためのプラットフォームベースのプロセス
- Abstract要約: Alignedは、グローバルガバナンスとフロンティアモデルのアライメントのためのプラットフォームである。
プラットフォームは自然にスケールし、コミュニティからの信頼と楽しみを植え付けます。
私たちは、Alignedエコシステムにプラグインしてプレイするために、他のAIラボやチームを招待します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We are introducing Aligned, a platform for global governance and alignment of
frontier models, and eventually superintelligence. While previous efforts at
the major AI labs have attempted to gather inputs for alignment, these are
often conducted behind closed doors. We aim to set the foundation for a more
trustworthy, public-facing approach to safety: a constitutional committee
framework. Initial tests with 680 participants result in a 30-guideline
constitution with 93% overall support. We show the platform naturally scales,
instilling confidence and enjoyment from the community. We invite other AI labs
and teams to plug and play into the Aligned ecosystem.
- Abstract(参考訳): 私たちは、グローバルガバナンスとフロンティアモデルのアライメントのためのプラットフォームであるalignedを導入しています。
主要なAI研究所での以前の取り組みは、アライメントのためのインプットを集めようとしたが、それらはしばしばドアの後ろで実行される。
我々は、安全に対するより信頼できる公的なアプローチ、すなわち憲法委員会の枠組みの基盤を確立することを目指している。
680人の参加者による最初のテストでは、全体の支持率93%の30ガイド構成となった。
プラットフォームは自然にスケールし、コミュニティからの信頼と楽しみを植え付けます。
私たちは、Alignedエコシステムにプラグインしてプレイするために、他のAIラボやチームを招待します。
関連論文リスト
- Post-Training Language Models for Gold-Medal Performance in Coding Competitions [70.8192632995446]
本稿では,大規模問題キュレーション,合成推論トレース,教師付き微調整,強化学習を組み合わせたエンドツーエンドの特殊化パイプラインを提案する。
SFTとRLでNemotron-3-Nano-CCを,SFT単独でNemotron-3-Ultra-CC(550B-A55B)を訓練した。
IOI 2025では、Nano-CCはポストトレーニング後の130点から291点に改善され、GenCorrectでは468点に改善され、Ultra-CCは502点に達した。
論文 参考訳(メタデータ) (2026-09-02T17:33:37Z) - From Interpretability to Control: Insights from Six Years of the TrustNLP Workshop [63.00693129203923]
The Workshop on Trustworthy Natural Language Processingは8つの論文から6つのエディションで41に成長した。
我々は、144の手続き書類から洞察を合成し、確立されたフレームワークに根ざした6つの信頼次元に沿ってそれらを分類する。
分類研究による分析によると、真理は最も成長の早い次元である(2021-2022年、2025-2026年までに論文の37%を占める)。
論文 参考訳(メタデータ) (2026-08-11T17:30:16Z) - Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs [21.637785874073444]
3つの主要なプラットフォームにまたがるAI-Appの最初のシステマティックなセキュリティ分析を提示する。
5つの脅威カテゴリと10の攻撃ベクトルを識別する。
論文 参考訳(メタデータ) (2026-06-29T14:34:43Z) - GuidaPA: Privacy-Preserving Chatbot for Public Administration via Federated Learning [0.9406096867000618]
GuidaPAは、ロールベースのアクセス制御、セキュアなクライアントサイド前処理、非IID効果の明示的なモニタリング、および大規模言語モデルのパラメータ効率の高いフェデレートされた微調整を統合している。
最良のフェデレーションモデルは、61.55.77/59.44のROUGE-1/2/L、45.02のBLEU-4、63.94のMETEORのプライベートな微調整を実現し、データをその場で保存する。
論文 参考訳(メタデータ) (2026-05-31T18:20:25Z) - The Trust Paradox: How CS Researchers Engage LLM Leaderboards [49.627487948130444]
リーダーボードは、標準化されたベンチマークを使用してAIモデルをランク付けするが、研究者の実際の実践をどのように形作るかは、実証的にも証明されていない。
我々は、実用的懐疑主義のほぼ普遍的なパラドックスを見出した:参加者はリーダーボードのランキングに深い不信を表明したが、彼らはそれらを粗悪な意思決定支援として使用し続けた。
これらの知見を,評価インフラと研究者の実際の使用方法とを一致させる具体的な設計勧告に翻訳する。
論文 参考訳(メタデータ) (2026-05-27T18:09:26Z) - Creating Group Rules with AI: Human-AI Collaboration in WhatsApp Moderation [14.812507021519776]
WhatsAppグループ管理者がAIツールとどのように協力し、グループルールを作成し、強制し、維持するかを示す。
我々の調査によると、管理者は、見過ごされたルールを提示し、モデレーションの負担を軽減できるAIの能力に感謝している。
人間の判断、関係的ニュアンス、文脈適応性、集合的ガバナンスを中心とするモデレーションツールを構築する上での設計上の意味を結論付けます。
論文 参考訳(メタデータ) (2026-05-12T18:02:49Z) - Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering [52.69447404069251]
大規模視覚言語モデル(VLM)は、オープン語彙推論のための強力なセマンティック先行情報を提供することにより、EQAエージェントの改良を行った。
ステップレベルキャリブレーションによる探索を安定化するフレームワークPrune-Then-Planを提案する。
論文 参考訳(メタデータ) (2025-11-24T22:50:50Z) - Benchmarking Generalizable Bimanual Manipulation: RoboTwin Dual-Arm Collaboration Challenge at CVPR 2025 MEIS Workshop [120.2806035123366]
RoboTwin Dual-Arm Collaboration Challengeは、CVPR 2025の第2回MeISワークショップで行われた。
ライバルは、剛性、変形性、触覚ベースのシナリオをカバーする17のデュアルアーム操作タスクに完全に取り組んだ。
コンペティションの設定、タスク設計、評価方法論、重要な発見と今後の方向性について概説する。
論文 参考訳(メタデータ) (2025-06-29T17:56:41Z) - The Leaderboard Illusion [30.165395231766627]
アリーナは最も有能なAIシステムランキングのリーダーボードとして登場した。
我々は,ゆがんだ競技場に生じた体系的な問題を同定する。
論文 参考訳(メタデータ) (2025-04-29T15:48:49Z) - Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference [48.99117537559644]
人間の好みに基づいた大規模言語モデル(LLM)を評価するオープンプラットフォームであるArenaを紹介する。
本手法は,クラウドソーシングを通じて,多種多様なユーザベースからのインプットを活用する。
本稿では,このプラットフォームについて述べるとともに,これまでに収集したデータを分析し,実際に使用している統計的手法について説明する。
論文 参考訳(メタデータ) (2024-03-07T01:22:38Z) - Human-Machine Teaming for UAVs: An Experimentation Platform [6.809734620480709]
本稿では,Cogmentの人間-機械協調実験プラットフォームについて紹介する。
学習AIエージェント、静的AIエージェント、人間を含むことができるHMT(Human-machine Teaming)のユースケースを実装している。
我々は,重要なシステムと防衛環境における人間と機械の連携について,さらなる研究を進めたい。
論文 参考訳(メタデータ) (2023-12-18T21:35:02Z) - Towards Democratizing AI: A Comparative Analysis of AI as a Service
Platforms and the Open Space for Machine Learning Approach [1.5500145658862499]
いくつかの一般的なAI・アズ・ア・サービスプラットフォームを比較し、AIの真の民主化を実現するためのプラットフォームの主要な要件を特定します。
私たちの分析では、セルフホスティングオプション、高いスケーラビリティ、オープン性の必要性を強調しています。
当社のアプローチは、既存のAI・アズ・ア・サービスプラットフォームよりも、AIの民主化要件を満たす上で、より包括的で効果的です。
論文 参考訳(メタデータ) (2023-11-08T08:02:59Z) - AI Alignment: A Comprehensive Survey [70.35693485015659]
AIアライメントは、AIシステムが人間の意図や価値観に沿って振る舞うようにすることを目的としている。
AIアライメントの重要な目的として、ロバストネス、解釈可能性、制御可能性、倫理という4つの原則を特定します。
我々は、現在のアライメント研究を、前方アライメントと後方アライメントの2つの重要なコンポーネントに分解する。
論文 参考訳(メタデータ) (2023-10-30T15:52:15Z) - LLM Platform Security: Applying a Systematic Evaluation Framework to OpenAI's ChatGPT Plugins [31.678328189420483]
大規模言語モデル(LLM)プラットフォームは先頃,インターネット上のサードパーティサービスとインターフェースするアプリエコシステムの提供を開始した。
これらのアプリはLLMプラットフォームの機能を拡張しているが、任意のサードパーティによって開発されており、暗黙的に信頼できない。
LLMプラットフォーム設計者のための基盤を築き,現在および将来のサードパーティのLDMプラットフォームのセキュリティ,プライバシ,安全性を解析し,改善するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-19T02:20:10Z) - Benchmarking Robustness and Generalization in Multi-Agent Systems: A
Case Study on Neural MMO [50.58083807719749]
IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。
この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。
環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
論文 参考訳(メタデータ) (2023-08-30T07:16:11Z) - Towards best practices in AGI safety and governance: A survey of expert
opinion [0.0]
OpenAI、Google DeepMind、Anthropicといった主要なAI企業は、人工知能(AGI)システムを構築するという目標を掲げている。
この目標を追求することで、大きなリスクをもたらすAIシステムを開発、デプロイすることが可能になる。
ベストプラクティスの特定を支援するため,AGIラボ,アカデミック,市民社会の専門家92名を対象に調査を行った。
論文 参考訳(メタデータ) (2023-05-11T21:54:30Z) - Solidago: A Modular Collaborative Scoring Pipeline [7.1395190643914495]
Solidagoはエンドツーエンドのモジュールパイプラインで、任意のユーザのコミュニティが任意の数のエンティティを共同でスコアできる。
まず、プリトラストとピアツーピアのブーチを使用して、信頼スコアをユーザーに割り当てる。
第2に、参加に基づいて、信頼スコアは、エンティティごとのユーザ当たりの投票権に変換される。
第3に、各ユーザに対して、ユーザの評価データから嗜好モデルを学ぶ。
論文 参考訳(メタデータ) (2022-10-30T09:27:16Z) - Game of Privacy: Towards Better Federated Platform Collaboration under
Privacy Restriction [95.12382372267724]
Vertical Federated Learning (VFL)は、異なるプラットフォームに格納された異なる機能空間を持つクロスサイロデータからモデルをトレーニングすることを目的としている。
フェデレーション学習の固有のプライバシーリスクのため、関連するデータの総量は制限される可能性がある。
我々は、VFLフレームワークのマルチプラットフォーム情報を活用して、各プラットフォームが自身のタスクに役立てることができるような、相互協力を通じて、異なるプラットフォームをインセンティブにすることを提案する。
論文 参考訳(メタデータ) (2022-02-10T16:45:40Z) - NeBula: Quest for Robotic Autonomy in Challenging Environments; TEAM
CoSTAR at the DARPA Subterranean Challenge [105.27989489105865]
本稿では,TEAM CoSTARが開発したアルゴリズム,ハードウェア,ソフトウェアアーキテクチャについて述べる。
NeBula (Networked Belief-Aware Perceptual Autonomy) と呼ばれる当社の自律的ソリューションを紹介します。
論文 参考訳(メタデータ) (2021-03-21T19:42:26Z) - OpenHoldem: An Open Toolkit for Large-Scale Imperfect-Information Game
Research [82.09426894653237]
OpenHoldemは、NLTHを用いた大規模不完全情報ゲーム研究のための統合ツールキットです。
1)異なるNLTH AIを徹底的に評価するための標準化された評価プロトコル、2)NLTH AIのための3つの公的に利用可能な強力なベースライン、3)公開NLTH AI評価のための使いやすいAPIを備えたオンラインテストプラットフォーム。
論文 参考訳(メタデータ) (2020-12-11T07:24:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。