論文の概要: You Are What You Eat -- AI Alignment Requires Understanding How Data Shapes Structure and Generalisation

• arxiv url: http://arxiv.org/abs/2502.05475v1
• Date: Sat, 08 Feb 2025 07:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 18:57:49.821324
• Title: You Are What You Eat -- AI Alignment Requires Understanding How Data Shapes Structure and Generalisation
• Title（参考訳）: AIアライメントは、データがどのように構造と一般化を形作るかを理解する必要がある
• Authors: Simon Pepin Lehalleur, Jesse Hoogland, Matthew Farrugia-Roberts, Susan Wei, Alexander Gietelink Oldenziel, George Wang, Liam Carroll, Daniel Murfet,
• Abstract要約: 我々は、トレーニングされたモデルにおけるデータ分布の構造と構造の関係を理解することがAIアライメントの中心であると主張する。 標準試験と評価は、広く展開された一般的なインテリジェントシステムに対する安全性の保証を得るには不十分である。
• 参考スコア（独自算出の注目度）: 35.44688262764995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this position paper, we argue that understanding the relation between structure in the data distribution and structure in trained models is central to AI alignment. First, we discuss how two neural networks can have equivalent performance on the training set but compute their outputs in essentially different ways and thus generalise differently. For this reason, standard testing and evaluation are insufficient for obtaining assurances of safety for widely deployed generally intelligent systems. We argue that to progress beyond evaluation to a robust mathematical science of AI alignment, we need to develop statistical foundations for an understanding of the relation between structure in the data distribution, internal structure in models, and how these structures underlie generalisation.
• Abstract（参考訳）: 本稿では,トレーニングモデルにおけるデータ分布の構造と構造の関係を理解することが,AIのアライメントの中心となることを論じる。 まず、2つのニューラルネットワークがトレーニングセットで同等のパフォーマンスを持つことができるが、その出力を本質的に異なる方法で計算し、それによって異なる一般化を行う方法について論じる。 このため、広く展開されている一般知能システムに対する安全性の保証を得るためには、標準的なテストと評価が不十分である。 我々は、AIアライメントの堅牢な数学的科学への評価を超えて進むためには、データ分布の構造とモデルの内部構造との関係、そしてそれらの構造が一般化の基盤となる方法を理解するための統計的基盤を開発する必要があると論じる。

関連論文リスト

• Information Structure in Mappings: An Approach to Learning, Representation, and Generalisation [3.8073142980733]
  この論文では、空間間の写像における体系的構造を特定するための定量的手法を紹介している。 マッピングに存在する構造的プリミティブと、それぞれの情報理論を識別します。 また、ベクトル空間のエントロピーを推定する新しい高性能なアプローチを導入し、この分析を100万から1200億のパラメータのモデルに適用する。
  論文  参考訳（メタデータ） (2025-05-29T19:27:50Z)
• Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis [36.24954635616374]
  本稿では,二元化ニューラルネットワーク(BNN)を第1のプロキシとして用いて,アルゴリズム情報理論へのシフトを提案する。 ブロック分解法 (BDM) を適用し, エントロピーよりもトレーニング中の構造変化をより綿密に追跡した。 これらの結果は、学習が構造化正規性の進行的内部化に対応するアルゴリズム圧縮の過程としてのトレーニングの観点を支持する。
  論文  参考訳（メタデータ） (2025-05-27T02:51:36Z)
• The Coverage Principle: A Framework for Understanding Compositional Generalization [31.762330857169914]
  合成タスクのパターンマッチングに主に依存するモデルは、同じコンテキストで使用した場合に同じ結果が得られるフラグメントを置換する以外には、確実に一般化できないことを示す。 我々は,このフレームワークがトランスフォーマーの一般化能力に強い予測力を持つことを実証した。
  論文  参考訳（メタデータ） (2025-05-26T17:55:15Z)
• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Principled and Efficient Motif Finding for Structure Learning of Lifted Graphical Models [5.317624228510748]
  構造学習は、ニューロシンボリックAIと統計リレーショナル学習の分野の中心となるAIの中核的な問題である。 昇降型グラフィカルモデルにおける構造モチーフのマイニングのための第一原理的アプローチを提案する。 我々は,最先端構造学習の手法を,精度で最大6%,実行時の最大80%で上回ることを示す。
  論文  参考訳（メタデータ） (2023-02-09T12:21:55Z)
• Isometric Representations in Neural Networks Improve Robustness [0.0]
  我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
  論文  参考訳（メタデータ） (2022-11-02T16:18:18Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Nested Named Entity Recognition as Holistic Structure Parsing [92.8397338250383]
  本研究は,文中の全入れ子NEを全体構造としてモデル化し,全体構造解析アルゴリズムを提案する。 実験により、我々のモデルは、最先端にアプローチしたり、あるいは達成したりするような、広く使われているベンチマークで有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-04-17T12:48:20Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• Sheaves as a Framework for Understanding and Interpreting Model Fit [2.867517731896504]
  統計的モデルが局所的なレベルにどの程度収まるかを分析するための自然なフレームワークを提供することができると我々は論じる。 シーフベースのアプローチは、様々なアプリケーションで有用であるのに十分な一般性がある。
  論文  参考訳（メタデータ） (2021-05-21T15:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。