論文の概要: Neither Stochastic Parroting nor AGI: LLMs Solve Tasks through Context-Directed Extrapolation from Training Data Priors

• arxiv url: http://arxiv.org/abs/2505.23323v1
• Date: Thu, 29 May 2025 10:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.812245
• Title: Neither Stochastic Parroting nor AGI: LLMs Solve Tasks through Context-Directed Extrapolation from Training Data Priors
• Title（参考訳）: 確率的パロットもAGIも:LLMは訓練データからの文脈指向外挿を通してタスクを解決しない
• Authors: Harish Tayyar Madabushi, Melissa Torgbi, Claire Bonial,
• Abstract要約: 我々は、LLMが「確率的なオウム」か「創発的な」先進的推論能力を持っているという極端な代替見解を誘発するLLM能力の現実的な見方を高く評価する。 我々の中核的な見解は、LLMはトレーニングデータから先行情報から外挿し、文脈内学習に似たメカニズムによって、どの情報を外挿するかをターゲティングできるということです。 制御不能なエージェンシーの出現の恐れは解消され、研究の進歩はコンテキスト指向の外挿のプロセスに適切に焦点を合わせている。
• 参考スコア（独自算出の注目度）: 1.9622014193977506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this position paper we raise critical awareness of a realistic view of LLM capabilities that eschews extreme alternative views that LLMs are either "stochastic parrots" or in possession of "emergent" advanced reasoning capabilities, which, due to their unpredictable emergence, constitute an existential threat. Our middle-ground view is that LLMs extrapolate from priors from their training data, and that a mechanism akin to in-context learning enables the targeting of the appropriate information from which to extrapolate. We call this "context-directed extrapolation." Under this view, substantiated though existing literature, while reasoning capabilities go well beyond stochastic parroting, such capabilities are predictable, controllable, not indicative of advanced reasoning akin to high-level cognitive capabilities in humans, and not infinitely scalable with additional training. As a result, fears of uncontrollable emergence of agency are allayed, while research advances are appropriately refocused on the processes of context-directed extrapolation and how this interacts with training data to produce valuable capabilities in LLMs. Future work can therefore explore alternative augmenting techniques that do not rely on inherent advanced reasoning in LLMs.
• Abstract（参考訳）: 本稿では,LLMが「確率的オウム」か「創発的」な先進的推論能力を持っているという極めて代替的な見方を取り入れた,LLM能力の現実的な視点に対する批判的認識を提起する。 我々の中核的な見解は、LLMはトレーニングデータから先行情報から外挿し、文脈内学習に似たメカニズムによって、どの情報を外挿するかをターゲティングできるということです。 これを "context-directed extrapolation" と呼ぶ。 この考え方の下では、既存の文献では推論能力は確率的パロット以上のものになっているが、そのような能力は予測可能であり、制御可能であり、人間の高度な認知能力に似た高度な推論を示すものではなく、追加の訓練で無限にスケーラブルではない。 その結果、制御不能なエージェンシーの出現に対する恐れが和らげられ、研究の進展は、文脈指向の外挿のプロセスと、それがLLMの貴重な能力を生み出すためのトレーニングデータとどのように相互作用するかに適切に焦点を合わせている。 したがって、将来の研究は、LLMに固有の高度な推論に依存しない代替の拡張手法を探求することができる。

関連論文リスト

• Hybrid Latent Reasoning via Reinforcement Learning [51.06635386903026]
  大規模言語モデル(LLM)の能力を活用した強化学習(RL)による潜時推論について検討する。 RLをベースとしたハイブリッド潜在推論手法であるハイブリッド推論ポリシー最適化(HRPO)を導入する。 HRPOで訓練されたLLMは解釈可能であり、言語横断パターンや短い完了長といった興味深い挙動を示す。
  論文  参考訳（メタデータ） (2025-05-24T01:26:16Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Causality for Large Language Models [37.10970529459278]
  数十億または数兆のパラメータを持つ大規模言語モデル(LLM)は、膨大なデータセットでトレーニングされており、一連の言語タスクで前例のない成功を収めている。 近年の研究では、LLMは因果オウムとして機能し、因果知識を真に理解したり応用したりすることなくリサイクリングすることができることが強調されている。 本調査は, ライフサイクルのすべての段階において, 因果性がどのようにLCMを強化するかを検討することを目的としている。
  論文  参考訳（メタデータ） (2024-10-20T07:22:23Z)
• Understanding Privacy Risks of Embeddings Induced by Large Language Models [75.96257812857554]
  大きな言語モデルは、人工知能の初期の兆候を示すが、幻覚に苦しむ。 1つの有望な解決策は、外部知識を埋め込みとして保存し、LLMを検索強化世代に支援することである。 近年の研究では、事前学習された言語モデルによるテキスト埋め込みから、元のテキストを部分的に再構築できることが実験的に示されている。
  論文  参考訳（メタデータ） (2024-04-25T13:10:48Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Balancing Exploration and Exploitation in LLM using Soft RLLF for Enhanced Negation Understanding [4.799288023353623]
  NLPにおける微調整のアプローチは、しばしば探索よりも搾取に焦点を当てる。 論理フィードバックからの強化学習を活用して、言語モデルにおける探索と搾取の効果的なバランスを作る。 これは、より正確で信頼性があり、論理的に一貫した言語モデルの開発に意味を持つ。
  論文  参考訳（メタデータ） (2024-03-02T11:54:55Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Deception Abilities Emerged in Large Language Models [0.0]
  大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を備えた人工知能(AI)システムの最前線にある。 本研究は, GPT-4 などの最先端 LLM にそのような戦略が出現したが, 初期の LLM には存在しなかったことを明らかにする。 我々は、最先端のLLMが他のエージェントの誤った信念を理解し、誘導できることを示す一連の実験を行う。
  論文  参考訳（メタデータ） (2023-07-31T09:27:01Z)
• Rethinking with Retrieval: Faithful Large Language Model Inference [91.66406351103484]
  我々は検索(RR)で再考する新しいポストプロセッシング手法を提案する。 RRは、チェーン・オブ・シークレット・プロンプトから得られた推論ステップに基づいて、関連する外部知識を検索する。 複雑な3つの推論課題に対する GPT-3 を用いた広範囲な実験により RR の有効性を評価する。
  論文  参考訳（メタデータ） (2022-12-31T22:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。