論文の概要: Emergent Abilities in Large Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2503.05788v2
• Date: Fri, 14 Mar 2025 13:28:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:05:08.648492
• Title: Emergent Abilities in Large Language Models: A Survey
• Title（参考訳）: 大規模言語モデルの創発的能力:調査
• Authors: Leonardo Berti, Flavio Giorgi, Gjergji Kasneci,
• Abstract要約: 大規模言語モデル(LLM)は、人工知能への最も有望な研究の流れの1つとして、新しい技術革命を導いている。 これらのモデルのスケーリングは、以前は観測されていなかった様々な創発的能力と関連付けられている。 これらの能力は、高度な推論やコンテキスト内学習からコーディングや問題解決まで多岐にわたる。 トランスフォーメーションの可能性にもかかわらず、創発的能力は未理解のままであり、定義、性質、予測可能性、含意について誤解を招く。
• 参考スコア（独自算出の注目度）: 9.50669909278749
• License:
• Abstract: Large Language Models (LLMs) are leading a new technological revolution as one of the most promising research streams toward artificial general intelligence. The scaling of these models, accomplished by increasing the number of parameters and the magnitude of the training datasets, has been linked to various so-called emergent abilities that were previously unobserved. These emergent abilities, ranging from advanced reasoning and in-context learning to coding and problem-solving, have sparked an intense scientific debate: Are they truly emergent, or do they simply depend on external factors, such as training dynamics, the type of problems, or the chosen metric? What underlying mechanism causes them? Despite their transformative potential, emergent abilities remain poorly understood, leading to misconceptions about their definition, nature, predictability, and implications. In this work, we shed light on emergent abilities by conducting a comprehensive review of the phenomenon, addressing both its scientific underpinnings and real-world consequences. We first critically analyze existing definitions, exposing inconsistencies in conceptualizing emergent abilities. We then explore the conditions under which these abilities appear, evaluating the role of scaling laws, task complexity, pre-training loss, quantization, and prompting strategies. Our review extends beyond traditional LLMs and includes Large Reasoning Models (LRMs), which leverage reinforcement learning and inference-time search to amplify reasoning and self-reflection. However, emergence is not inherently positive. As AI systems gain autonomous reasoning capabilities, they also develop harmful behaviors, including deception, manipulation, and reward hacking. We highlight growing concerns about safety and governance, emphasizing the need for better evaluation frameworks and regulatory oversight.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、人工知能への最も有望な研究の流れの1つとして、新しい技術革命を導いている。 これらのモデルのスケーリングは、パラメータの数とトレーニングデータセットの大きさを増大させることによって達成され、以前は観測されていなかった様々な創発能力と関連付けられている。 これらの創発的能力は、高度な推論や文脈内学習からコーディング、問題解決まで、激しい科学的議論を引き起こしている。 どんなメカニズムが原因か? トランスフォーメーションの可能性にもかかわらず、創発的能力は未理解のままであり、定義、性質、予測可能性、含意について誤解を招く。 本研究では,この現象の包括的レビューを行い,その科学的基盤と実世界の結果の両方に対処することによって,創発的能力に光を当てた。 まず既存の定義を批判的に分析し、創発的能力の概念化における矛盾を明らかにする。 次に、これらの能力が現れる条件について検討し、スケーリング法則、タスクの複雑さ、事前学習損失、量子化、そして戦略の促進の役割を評価します。 我々のレビューは従来のLLMを超えて、強化学習と推論時間探索を活用して推論と自己回帰を増幅するLarge Reasoning Models (LRMs)を含む。 しかし、出現は本質的には肯定的ではない。 AIシステムが自律的な推論能力を得るにつれて、詐欺、操作、報酬ハッキングなどの有害な行動も発達する。 安全とガバナンスに対する懸念の高まりを強調し、より良い評価フレームワークと規制監督の必要性を強調します。

関連論文リスト

• The Superalignment of Superhuman Intelligence with Large Language Models [63.96120398355404]
  我々は,この疑問に答えるために,学習の観点からスーパーアライメントの概念について議論する。 スーパーアライメントにおけるいくつかの重要な研究課題、すなわち、弱いから強い一般化、スケーラブルな監視、評価に焦点を当てる。 本稿では,学習者モデルの弱点を露呈しようとする敵対的クエリを生成する攻撃者,最小限の人間専門家とともに,批判モデルによって生成されたスケーラブルなフィードバックから学習することで自己を洗練させる学習者,与えられた質問応答対に対する批判や説明を生成する批判者,そして批判によって学習者を改善することを目的とした,3つのモジュールからなるスーパーアライメントの概念的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-12-15T10:34:06Z)
• Weak-to-Strong Generalization beyond Accuracy: a Pilot Study in Safety, Toxicity, and Legal Reasoning [10.752609242505953]
  従来のアライメント手法は、微調整モデルへの人間のフィードバックに依存している。 人間の理解を超越したアウトプットを持つ超人的モデルには、大きな課題がある。 近年の研究では、より強力なモデルから知識を引き出すために弱いスーパーバイザーを使用している。
  論文  参考訳（メタデータ） (2024-10-16T14:40:32Z)
• Mechanistic Interpretability for AI Safety -- A Review [28.427951836334188]
  本稿では,機械的解釈可能性について概説する。 機械的解釈性は、AIシステムがより強力で精査されるにつれて、破滅的な結果を防ぐのに役立つ。
  論文  参考訳（メタデータ） (2024-04-22T11:01:51Z)
• Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic Systems [67.01132165581667]
  本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。 本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
  論文  参考訳（メタデータ） (2023-11-13T21:20:17Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Are Emergent Abilities in Large Language Models just In-Context Learning? [46.561464069450444]
  創発的能力を説明する新しい理論を提示する。 以上の結果から,創発能力は真に創発的ではなく,文脈内学習,モデル記憶,言語知識の組み合わせによるものであることが示唆された。
  論文  参考訳（メタデータ） (2023-09-04T20:54:11Z)
• Beyond Interpretable Benchmarks: Contextual Learning through Cognitive and Multimodal Perception [0.0]
  この研究は、チューリングテストがコンピュータシステムを人為的に形作る試みであると誤解されていることを主張する。 通訳性に欠けるにもかかわらず、汎用知能の基盤として暗黙の学習を強調している。
  論文  参考訳（メタデータ） (2022-12-04T08:30:04Z)
• On the Opportunities and Risks of Foundation Models [256.61956234436553]
  これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
  論文  参考訳（メタデータ） (2021-08-16T17:50:08Z)
• Causal World Models by Unsupervised Deconfounding of Physical Dynamics [20.447000858907646]
  世界の精神モデルで内部を想像する能力は、人間の認知にとって極めて重要である。 本稿では,相互関係の教師なしモデリングを可能にするCausal World Models(CWMs)を提案する。 強化学習タスクの複雑性サンプルの削減と、反実物的推論の改善を示します。
  論文  参考訳（メタデータ） (2020-12-28T13:44:36Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。