論文の概要: Thinking Like a Scientist? A Structural Study of LLM-Generated Research Methods
- arxiv url: http://arxiv.org/abs/2606.26130v1
- Date: Mon, 15 Jun 2026 14:53:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-28 23:46:52.338833
- Title: Thinking Like a Scientist? A Structural Study of LLM-Generated Research Methods
- Title（参考訳）: 科学者のように考える : LLMによる研究手法の構造的研究
- Abstract要約: GPT-5.1、Gemini 3 Pro、DeepSeek-V3.2に、最近のarXivコンピュータサイエンス論文1000件のそれぞれからLLMで抽出された研究質問を提出する。
調査質問のみを提供するので、これらの提案がどの程度最適かではなく、最初の提案を反映している。
最も強い不均衡は提供者の選択に現れ、ジェンセン=シャノンの発散は他の分類学の次元よりも約3,5倍大きい。
- 参考スコア（独自算出の注目度）: 4.424680117690851
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used to guide research methodology, yet their default methodological tendencies under minimal prompting remain unclear. Here, we prompt GPT-5.1, Gemini 3 Pro, and DeepSeek-V3.2 with an LLM-extracted research question from each of 1,000 recent arXiv computer-science papers and compare the resulting methodology suggestions against a paper-derived experimental inventory. Since we provide only the research question, the differences we measure reflect initial suggestions and not how optimal those suggestions are. We extract structured method features from both sources, map them into a shared taxonomy, and quantify divergence across multiple taxonomy dimensions including model provider, dataset task type, and evaluation metric type. The strongest imbalance appears in provider choice, with Jensen-Shannon divergence about 3-5x larger than any other taxonomy dimension. Other/Academic single-occurrence models are underrepresented by 23-24 percentage points, while reused academic/community models are slightly overrepresented (4-6pp). LLMs also suggest a much narrower range of methods overall: the effective number of model entities contracts from 1,232 to 59-96, and inter-LLM rank correlations (0.55-0.68) generally exceed LLM-to-paper correlations (0.33-0.56), so the distortions are largely shared across models. Popularity baselines, BM25 retrieval calibration, and paper-level similarity tests confirm that the outputs are query-specific responses, but filtered through a narrower set of options. Researchers who rely on LLM suggestions without cross-checking therefore risk narrowing their methodological search space toward a more concentrated default.
- Abstract（参考訳）: 大規模言語モデル (LLM) は研究方法論のガイドにますます使われているが、最小限のプロンプトの下でのデフォルトの方法論的傾向はいまだ不明である。
ここでは、最近のarXivコンピュータサイエンス論文1,000件のそれぞれから、LCMで抽出された研究質問をGPT-5.1、Gemini 3 Pro、DeepSeek-V3.2に送付し、論文由来の実験在庫に対する方法論提案と比較する。
調査質問のみを提供するので、これらの提案がどの程度最適かではなく、最初の提案を反映している。
両情報源から構造的手法の特徴を抽出し、それらを共通分類にマッピングし、モデル提供者、データセットタスクタイプ、評価基準タイプを含む複数の分類分野にまたがるばらつきを定量化する。
最も強い不均衡は提供者の選択に現れ、ジェンセン=シャノンの発散は他の分類学の次元よりも約3,5倍大きい。
他の学術的単一発生モデルは23～24ポイント、再利用された学術的/共同体的モデルはわずかに過剰に表現される(4-6pp)。
モデルエンティティの有効数は1,232から59-96であり、LLM間の相関(0.55-0.68)は一般的にLLM-紙間の相関(0.33-0.56)を超えている。
人気のベースライン、BM25の検索キャリブレーション、および紙レベルの類似性テストは、出力がクエリ固有の応答であることを確認したが、より狭いオプションによってフィルタリングされる。
LLM提案を相互チェックなしで頼っている研究者は、より集中的なデフォルトに向かって方法論的な検索スペースを狭めるリスクがある。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases [58.92094935632493]
大規模言語モデル(LLM)は研究エージェントとしての役割がますます高まっているが、研究の関心の変化を追跡する能力は評価が難しい。
278のAI/MLフィールドと1,390のエピソードをカバーするローリングベンチマークであるResearch Attention Prediction (RAP)を紹介する。
それぞれのカットオフで、LLMエージェントは時間的に制限されたarXivコーパスを検索し、次の6ヶ月の論文の共有を8つの凍った研究方向にわたって予測する。
論文 参考訳（メタデータ） (2026-09-09T12:15:14Z) - LLM-Metrics: Measuring Research Impact Through Large Language Model Memory [0.09685837672183746]
大規模言語モデル(LLM)のパラメトリックメモリから導出した研究・インパクト評価指標であるLLM-Metricsを提案する。
2023-2024年に発行された549のコンピュータサイエンス論文を,6つのベンダーから0.5Bから72Bのパラメータにまたがる17のLLMで評価した。
17モデルのうち15モデルが肯定的な予測を行い、そのうち9モデルが0.05未満のpで有意であり、rho = 0.1495 と p = 0.0004 のスピアマンの総合的な相関は引用数に対して有意であった。
論文 参考訳（メタデータ） (2026-05-21T08:45:57Z) - Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。
要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文 参考訳（メタデータ） (2026-02-07T19:39:28Z) - HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。
作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
論文 参考訳（メタデータ） (2025-11-24T03:13:45Z) - PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies [16.537126902822127]
PRISMM-Benchは、科学論文において、実際のレビュアーがフラッグした不整合に基づいた最初のベンチマークである。
不整合同定、治療、ペアマッチングという3つのタスクを設計し、不整合の検出、修正、推論を行うモデルの能力を評価する。
我々は、大きなオープンウェイトモデル(GLM-4.5V 106B、InternVL3 78B)やプロプライエタリモデル(Gemini 2.5 Pro、GPT-5)を含む21のLMMをベンチマークした。
論文 参考訳（メタデータ） (2025-10-18T13:46:26Z) - What is in the model? A Comparison of variable selection criteria and model search approaches [0.0]
正確な識別率(CIR)、リコール、偽発見率(FDR)のパフォーマンス指標を用いた変数選択法の比較を行った。
その結果, 大規模・小規模のモデル空間において, サーチBICとサーチBICが他の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2025-10-03T00:14:43Z) - Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。
このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。
意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
論文 参考訳（メタデータ） (2025-09-10T17:58:53Z) - Towards Automated Fact-Checking of Real-World Claims: Exploring Task Formulation and Assessment with LLMs [32.45604456988931]
本研究では,Large Language Models(LLMs)を用いたAFC(Automated Fact-Checking)のベースライン比較を確立する。
また,2007-2024年にPoitiFactから収集された17,856件のクレームに対して,制限されたWeb検索によって得られた証拠を用いてLlama-3モデルの評価を行った。
以上の結果から, LLMは微調整をせずに, 分類精度, 正当化品質において, より小型のLLMより一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2025-02-13T02:51:17Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。