論文の概要: You Are What You Eat -- AI Alignment Requires Understanding How Data Shapes Structure and Generalisation

• arxiv url: http://arxiv.org/abs/2502.05475v1
• Date: Sat, 08 Feb 2025 07:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:30:50.232058
• Title: You Are What You Eat -- AI Alignment Requires Understanding How Data Shapes Structure and Generalisation
• Title（参考訳）: AIアライメントは、データがどのように構造と一般化を形作るかを理解する必要がある
• Authors: Simon Pepin Lehalleur, Jesse Hoogland, Matthew Farrugia-Roberts, Susan Wei, Alexander Gietelink Oldenziel, George Wang, Liam Carroll, Daniel Murfet,
• Abstract要約: 我々は、トレーニングされたモデルにおけるデータ分布の構造と構造の関係を理解することがAIアライメントの中心であると主張する。 標準試験と評価は、広く展開された一般的なインテリジェントシステムに対する安全性の保証を得るには不十分である。
• 参考スコア（独自算出の注目度）: 35.44688262764995
• License:
• Abstract: In this position paper, we argue that understanding the relation between structure in the data distribution and structure in trained models is central to AI alignment. First, we discuss how two neural networks can have equivalent performance on the training set but compute their outputs in essentially different ways and thus generalise differently. For this reason, standard testing and evaluation are insufficient for obtaining assurances of safety for widely deployed generally intelligent systems. We argue that to progress beyond evaluation to a robust mathematical science of AI alignment, we need to develop statistical foundations for an understanding of the relation between structure in the data distribution, internal structure in models, and how these structures underlie generalisation.
• Abstract（参考訳）: 本稿では,トレーニングモデルにおけるデータ分布の構造と構造の関係を理解することが,AIのアライメントの中心となることを論じる。 まず、2つのニューラルネットワークがトレーニングセットで同等のパフォーマンスを持つことができるが、その出力を本質的に異なる方法で計算し、それによって異なる一般化を行う方法について論じる。 このため、広く展開されている一般知能システムに対する安全性の保証を得るためには、標準的なテストと評価が不十分である。 我々は、AIアライメントの堅牢な数学的科学への評価を超えて進むためには、データ分布の構造とモデルの内部構造との関係、そしてそれらの構造が一般化の基盤となる方法を理解するための統計的基盤を開発する必要があると論じる。

関連論文リスト

• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Principled and Efficient Motif Finding for Structure Learning of Lifted Graphical Models [5.317624228510748]
  構造学習は、ニューロシンボリックAIと統計リレーショナル学習の分野の中心となるAIの中核的な問題である。 昇降型グラフィカルモデルにおける構造モチーフのマイニングのための第一原理的アプローチを提案する。 我々は,最先端構造学習の手法を,精度で最大6%,実行時の最大80%で上回ることを示す。
  論文  参考訳（メタデータ） (2023-02-09T12:21:55Z)
• Isometric Representations in Neural Networks Improve Robustness [0.0]
  我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
  論文  参考訳（メタデータ） (2022-11-02T16:18:18Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Nested Named Entity Recognition as Holistic Structure Parsing [92.8397338250383]
  本研究は,文中の全入れ子NEを全体構造としてモデル化し,全体構造解析アルゴリズムを提案する。 実験により、我々のモデルは、最先端にアプローチしたり、あるいは達成したりするような、広く使われているベンチマークで有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-04-17T12:48:20Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• Sheaves as a Framework for Understanding and Interpreting Model Fit [2.867517731896504]
  統計的モデルが局所的なレベルにどの程度収まるかを分析するための自然なフレームワークを提供することができると我々は論じる。 シーフベースのアプローチは、様々なアプリケーションで有用であるのに十分な一般性がある。
  論文  参考訳（メタデータ） (2021-05-21T15:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。