論文の概要: Introspective Growth: Automatically Advancing LLM Expertise in Technology Judgment

• arxiv url: http://arxiv.org/abs/2505.12452v2
• Date: Mon, 09 Jun 2025 15:40:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.08207
• Title: Introspective Growth: Automatically Advancing LLM Expertise in Technology Judgment
• Title（参考訳）: イントロスペクティブ・グロース:技術判断におけるLLMエキスパートの自動向上
• Authors: Siyang Wu, Honglin Bao, Nadav Kunievsky, James A. Evans,
• Abstract要約: 大きな言語モデル(LLM)は、概念的理解の兆候をますます示している。 彼らの内部知識の多くは、潜伏し、ゆるやかに構造化され、アクセスや評価が難しいままである。 LLMの理解を改善するための軽量でスケーラブルな戦略として,自己問合せを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) increasingly demonstrate signs of conceptual understanding, yet much of their internal knowledge remains latent, loosely structured, and difficult to access or evaluate. We propose self-questioning as a lightweight and scalable strategy to improve LLMs' understanding, particularly in domains where success depends on fine-grained semantic distinctions. To evaluate this approach, we introduce a challenging new benchmark of 1.3 million post-2015 computer science patent pairs, characterized by dense technical jargon and strategically complex writing. The benchmark centers on a pairwise differentiation task: can a model distinguish between closely related but substantively different inventions? We show that compared to placebo scientific information, prompting LLMs to generate and answer their own questions - targeting the background knowledge required for the task - significantly improves performance. These self-generated questions and answers activate otherwise underutilized internal knowledge. Allowing LLMs to retrieve answers from external scientific texts further enhances performance, suggesting that model knowledge is compressed and lacks the full richness of the training data. We also find that chain-of-thought prompting and self-questioning converge, though self-questioning remains more effective for improving understanding of technical concepts. Notably, we uncover an asymmetry in prompting: smaller models often generate more fundamental, more open-ended, better-aligned questions for mid-sized models than large models do, revealing a new strategy for cross-model collaboration. Altogether, our findings establish self-questioning as both a practical mechanism for automatically improving LLM comprehension, especially in domains with sparse and underrepresented knowledge, and a diagnostic probe of how internal and external knowledge are organized.
• Abstract（参考訳）: 大きな言語モデル(LLM)は概念的理解の兆候をますます示しているが、その内部知識の多くは潜伏しており、ゆるく構造化されており、アクセスや評価が困難である。 我々はLSMの理解を改善するための軽量でスケーラブルな戦略としてセルフクエスト手法を提案する。 このアプローチを評価するために,2015年以降の130万のコンピュータサイエンス特許ペアに対して,高密度な技術ジャーゴンと戦略的に複雑な書き込みを特徴とする,挑戦的な新しいベンチマークを導入する。 モデルは、密接に関連しているが、実質的に異なる発明を区別できるだろうか? 本研究では,現場の科学的情報と比較して,LLMがタスクに必要なバックグラウンド知識をターゲットとして,自身の質問を生成・回答するよう促すことにより,性能が大幅に向上することを示す。 これらの自己生成的な質問や回答は、そうでなければ未使用の内部知識を活性化する。 LLMが外部の科学的テキストから回答を取得できるようにすると、さらに性能が向上し、モデル知識が圧縮され、トレーニングデータの完全な豊かさが欠如していることが示唆される。 また、チェーン・オブ・ソートが技術的概念の理解を深める上では、自己探究がより効果的であることに気付きました。 より小さなモデルは、大きなモデルよりも、より基本的で、よりオープンで、より整合した質問を生成することが多く、クロスモデルコラボレーションのための新しい戦略を明らかにします。 また,LLMの理解度を高めるための実践的メカニズムとして,特に疎小かつ疎小な知識を持つ領域において,自己探究が確立され,内部知識と外部知識の組織化の方法が検証された。

関連論文リスト

• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge [17.74988145184004]
  大規模言語モデル(LLM)は自然言語処理(NLP)の強力なツールとして登場した。 本稿では,LLMの力と教育理論を組み合わせた,WisdomBotという教育用LLMについて述べる。 本稿では,推論中の2つの重要な拡張,すなわち,ローカル知識ベース検索の強化と,推論中の検索エンジン検索の強化を紹介する。
  論文  参考訳（メタデータ） (2025-01-22T13:36:46Z)
• Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension [14.039653386385519]
  大規模言語モデル(LLM)は知識を取得し、保持し、適用する。 本稿では,LLMの知識を2次元に分類する新しいフレームワークK-(CSA)2を紹介する。
  論文  参考訳（メタデータ） (2025-01-02T16:34:10Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。