論文の概要: Are Large Language Models Reliable AI Scientists? Assessing Reverse-Engineering of Black-Box Systems

• arxiv url: http://arxiv.org/abs/2505.17968v1
• Date: Fri, 23 May 2025 14:37:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.161005
• Title: Are Large Language Models Reliable AI Scientists? Assessing Reverse-Engineering of Black-Box Systems
• Title（参考訳）: 大規模言語モデルは信頼できるAI科学者か?-ブラックボックスシステムのリバースエンジニアリングを評価する
• Authors: Jiayi Geng, Howard Chen, Dilip Arumugam, Thomas L. Griffiths,
• Abstract要約: 大規模言語モデル(LLM)は、受動的に観測されたデータとアクティブに収集されたデータからブラックボックス関数を特定することを学ぶ。 LLMは観測結果から情報を抽出できず、ベイズ推定の理想に劣る性能台地に到達する。 一方のLSMから他方のLSMへの介入データを提供することで、この改善が効果的な介入のプロセスへの関与の結果であることを示す。
• 参考スコア（独自算出の注目度）: 16.995977750934887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using AI to create autonomous researchers has the potential to accelerate scientific discovery. A prerequisite for this vision is understanding how well an AI model can identify the underlying structure of a black-box system from its behavior. In this paper, we explore how well a large language model (LLM) learns to identify a black-box function from passively observed versus actively collected data. We investigate the reverse-engineering capabilities of LLMs across three distinct types of black-box systems, each chosen to represent different problem domains where future autonomous AI researchers may have considerable impact: Program, Formal Language, and Math Equation. Through extensive experiments, we show that LLMs fail to extract information from observations, reaching a performance plateau that falls short of the ideal of Bayesian inference. However, we demonstrate that prompting LLMs to not only observe but also intervene -- actively querying the black-box with specific inputs to observe the resulting output -- improves performance by allowing LLMs to test edge cases and refine their beliefs. By providing the intervention data from one LLM to another, we show that this improvement is partly a result of engaging in the process of generating effective interventions, paralleling results in the literature on human learning. Further analysis reveals that engaging in intervention can help LLMs escape from two common failure modes: overcomplication, where the LLM falsely assumes prior knowledge about the black-box, and overlooking, where the LLM fails to incorporate observations. These insights provide practical guidance for helping LLMs more effectively reverse-engineer black-box systems, supporting their use in making new discoveries.
• Abstract（参考訳）: AIを使って自律的な研究者を作ることは、科学的な発見を加速する可能性がある。 このビジョンの前提条件は、AIモデルがその振る舞いからブラックボックスシステムの基盤構造をいかにうまく識別できるかを理解することである。 本稿では,大規模言語モデル(LLM)が受動的に観測されたデータと能動的に収集されたデータからブラックボックス関数をいかに識別するかを検討する。 プログラム,形式言語,数学方程式の3種類のブラックボックスシステムのリバースエンジニアリング能力について検討し,それぞれが,将来の自律型AI研究者が大きな影響を与える可能性のある,さまざまな問題領域を表現するために選択された。 広範にわたる実験により,LLMは観測結果から情報を抽出することができず,ベイズ推定の理想に反する性能台地に達することを示した。 しかし、我々は、LCMが観察されるだけでなく、介入されるように促すこと -- 結果の観察のためにブラックボックスに特定の入力を積極的に問い合わせること -- により、LLMがエッジケースをテストし、彼らの信念を洗練させることで、性能を向上させることを実証した。 この改善は、あるLLMから別のLLMへの介入データを提供することによって、効果的な介入を生成するプロセスに関わった結果であり、人間の学習に関する文献における結果の並列化であることを示す。 さらなる分析により、LLMは2つの一般的な障害モードから逃れるのに役立つことが判明した: オーバーコンプリケーション(英語版)、LLMはブラックボックスに関する事前の知識を誤って仮定し、LLMが観測を組み込むことができないオーバルック(英語版)。 これらの知見は、LSMがより効果的にリバースエンジニアリングのブラックボックスシステムを支援するための実践的なガイダンスを提供し、新しい発見を行う上での使用をサポートする。

関連論文リスト

• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• AI Meets the Classroom: When Do Large Language Models Harm Learning? [0.0]
  大規模言語モデル(LLM)が学習結果に与える影響は,利用行動に依存することを示す。 LLMは学習を改善する大きな可能性を示しているが、それらの使用は教育的な文脈に合わせて調整されなければならない。
  論文  参考訳（メタデータ） (2024-08-29T17:07:46Z)
• Hide and Seek: Fingerprinting Large Language Models with Evolutionary Learning [0.40964539027092917]
  本稿では,Large Language Model (LLM) モデルの指紋認証のための新しいブラックボックス手法を提案する。 モデルの正しいファミリーを特定する際には, 72%の精度が得られた。 この研究は、LLMの振る舞いを理解するための新しい道を開き、モデル帰属、セキュリティ、そしてAI透明性の幅広い分野に重大な影響を与える。
  論文  参考訳（メタデータ） (2024-08-06T00:13:10Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Towards Uncovering How Large Language Model Works: An Explainability Perspective [38.07611356855978]
  大規模言語モデル(LLM)は言語タスクのブレークスルーをもたらしたが、その顕著な一般化と推論能力を実現する内部メカニズムは不透明のままである。 本稿では,LLM機能の基礎となるメカニズムを,説明可能性のレンズを通して明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2024-02-16T13:46:06Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Prompting Large Language Models for Counterfactual Generation: An Empirical Study [13.506528217009507]
  大規模言語モデル(LLM)は、幅広い自然言語理解と生成タスクにおいて顕著な進歩を遂げている。 本稿では,様々な種類のNLUタスクに対する総合的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:44:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。