論文の概要: Prompting as Scientific Inquiry

• arxiv url: http://arxiv.org/abs/2507.00163v1
• Date: Mon, 30 Jun 2025 18:11:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:58.544399
• Title: Prompting as Scientific Inquiry
• Title（参考訳）: 科学的探究としてのプロンプティング
• Authors: Ari Holtzman, Chenhao Tan,
• Abstract要約: 我々は、プロンプトが科学として扱われることは滅多になく、しばしば錬金術として非難されると主張している。 機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークを覗き込み、そのネイティブインターフェースである言語でモデルを探索する。
• 参考スコア（独自算出の注目度）: 35.59147541701975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompting is the primary method by which we study and control large language models. It is also one of the most powerful: nearly every major capability attributed to LLMs-few-shot learning, chain-of-thought, constitutional AI-was first unlocked through prompting. Yet prompting is rarely treated as science and is frequently frowned upon as alchemy. We argue that this is a category error. If we treat LLMs as a new kind of complex and opaque organism that is trained rather than programmed, then prompting is not a workaround: it is behavioral science. Mechanistic interpretability peers into the neural substrate, prompting probes the model in its native interface: language. We contend that prompting is not inferior, but rather a key component in the science of LLMs.
• Abstract（参考訳）: プロンプティングは,大規模言語モデルを研究・制御する主要な手法である。 ほぼすべての主要な能力は、LLMによるファウショット学習、チェーン・オブ・シンク、コンスティチューションAIがプロンプトによって最初にアンロックされたものだ。 しかし、プロンプトは科学として扱われることは稀であり、しばしば錬金術として非難される。 これはカテゴリエラーである、と我々は主張する。 LLMをプログラムではなく訓練された新しい種類の複雑で不透明な有機体として扱う場合、プロンプトは回避策ではなく、行動科学である。 機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークを覗き込み、そのネイティブインターフェースである言語でモデルを探索する。 我々は、プロンプトは劣るものではなく、むしろLLMの科学において重要な要素であると主張する。

関連論文リスト

• General Intelligence Requires Reward-based Pretraining [19.90997698310839]
  大規模言語モデル(LLM)は、実世界の素晴らしいユーティリティを実証している。 しかし、適応的かつ堅牢に推論できる能力は、脆弱なままだ。 我々は3つの重要な方向から知識と推論を解き放つことを提案する。
  論文  参考訳（メタデータ） (2025-02-26T18:51:12Z)
• Artificial Scientific Discovery [5.241773225218436]
  この論文はAlphaGoからChatGPTにまたがって、人工科学者のビジョンを実現するために必要な概念を実証的に検証している。 人工科学者は、その発見を説明するために使われる言語を独自の解釈で理解し、厳格な既存の通訳に依存してはならない。 これは、解釈と知覚が明示的にアンタングル化されているCLIPのようなモデルを構築するという単純なアイデアに終止符を打つ。
  論文  参考訳（メタデータ） (2024-11-18T15:51:45Z)
• SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models [57.96527452844273]
  我々はSciInstructを紹介した。SciInstructは、大学レベルの科学的推論が可能な科学言語モデルを訓練するための科学指導スイートである。 我々は、物理学、化学、数学、公式な証明を含む多種多様な高品質なデータセットをキュレートした。 SciInstructの有効性を検証するため、SciInstruct、すなわちChatGLM3(6Bと32B)、Llama3-8B-Instruct、Mistral-7B: MetaMathを用いて言語モデルを微調整した。
  論文  参考訳（メタデータ） (2024-01-15T20:22:21Z)
• How Well Do Large Language Models Understand Syntax? An Evaluation by Asking Natural Language Questions [25.39259677000101]
  本研究は,構文のレンズを通して問題を探究する。 文理解に最も近い9つの構文的知識ポイントを対象とする質問を作成する。 24大言語モデル(LLM)で実施された実験は、ほとんどの場合、構文的知識が限られていることを示唆している。
  論文  参考訳（メタデータ） (2023-11-14T16:30:36Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• Understanding Natural Language Understanding Systems. A Critical Analysis [91.81211519327161]
  自然言語理解システム(Natural Language Understanding (NLU) system)としても知られる usguillemotright(英語版) のようなギユモトレフトークを持つ機械の開発は、人工知能の聖杯(英語版) (AI) である。 しかし、Gillemottalking machineguillemotrightを構築することができるという信頼は、次世代のNLUシステムによってもたらされたものよりも強かった。 私たちは新しい時代の夜明けに、ついに砂利が我々に近づいたのか?
  論文  参考訳（メタデータ） (2023-03-01T08:32:55Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)
• Neuro-Symbolic Causal Language Planning with Commonsense Prompting [67.06667162430118]
  言語プランニングは、より単純な低レベルステップに分解することで、複雑な高レベルな目標を実装することを目的としている。 以前の手法では、大規模な言語モデルからそのような能力を得るために、手動の例えか注釈付きプログラムが必要である。 本稿では,LLMからの手続き的知識をコモンセンス・インフュージョン・プロンプトにより引き起こすニューロシンボリック因果言語プランナー(CLAP)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T22:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。