論文の概要: Higher Reasoning Effort Improves Reference Verifiability and Changes Reasoning Summaries in GPT-5.5
- arxiv url: http://arxiv.org/abs/2610.34212v1
- Date: Sun, 25 Oct 2026 10:57:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.55959
- Title: Higher Reasoning Effort Improves Reference Verifiability and Changes Reasoning Summaries in GPT-5.5
- Title(参考訳): GPT-5.5における高共振による参照妥当性の向上と相乗効果の変化
- Abstract要約: 高い努力により、平均紙レベルのレゾルバ認証基準レートは78.3%から84.8%に増加した。
両方の条件で等しく現れるものもあれば、高い努力で見られるものもある。
- 参考スコア(独自算出の注目度): 4.821442958610436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly being used in different stages of scientific knowledge production, including the suggestion of references. These models can operate at different levels of reasoning effort and provide summaries of their reasoning processes. This raises two questions: Does increasing reasoning effort improve the verifiability of generated references, and do the resulting reasoning summaries reveal how the model's behavior changes with greater effort? We examined summaries from GPT-5.5 as it generated scholarly references for 1,000 papers under paired low- and high-effort settings. Generated references were matched to external bibliographic records, and reasoning summaries were scored for four predefined features and explored for additional features discovered by GPT-5.5. High effort increased the mean paper-level resolver-verified reference rate from 78.3% to 84.8%, and produced longer reasoning summaries. All four predefined features received higher scores under high effort. The discovered features changed less uniformly: some appeared equally often in both conditions, whereas others were more common under high effort. Within each effort condition, neither feature set showed a consistent increase in verification rates with higher scores.
- Abstract(参考訳): 大規模な言語モデルは、参照の提案を含む科学知識生産の様々な段階において、ますます使われている。
これらのモデルは様々な推論のレベルで動作し、推論プロセスの要約を提供することができる。
これは2つの疑問を提起する: 推論の努力の増加は、生成された参照の妥当性を改善し、その結果の推論の要約は、モデルの振る舞いがより大きな努力でどのように変化するかを明らかにするか?
我々は,GPT-5.5の要約を,低便と高便を併用した1000の論文の学術的参照として検討した。
生成した文献は外部の文献記録と一致し、推論の要約は4つの事前定義された特徴に対してスコアされ、GPT-5.5によって発見された追加の特徴について探索された。
高い努力により、平均紙レベルのレゾルバ認証基準レートは78.3%から84.8%に増加し、より長い推理的な要約を生み出した。
事前定義された4つの特徴は、高い努力でより高いスコアを得た。
両方の条件で等しく現れるものもあれば、高い努力で見られるものもある。
各作業条件において、どちらの機能セットも高いスコアで検証レートが一貫した増加を示しなかった。
関連論文リスト
- Local Brushstroke Quality Assessment via Vision-Language Feedback [16.561215035945423]
本稿では,マルチモーダルLLMが書道における局所的な筆跡品質を評価し,教育的に有用な自然言語フィードバックを生成できるかどうかを考察する。
本研究では、3つのマルチモーダル LLM が5点順序尺度を用いて事前画像ペアの評価を行い、その出力を3人の専門書家によって割り当てられたスコアと比較する評価枠組みを構築した。
さらに,予備条件としてClaudeのRAG(Retrieval-Augmented Generation)を検討した結果,GPT-4oが最高性能(MAE=0.885)の絶対スコア精度(MAE)が得られた。
論文 参考訳(メタデータ) (2026-07-15T18:22:21Z) - GIANTS: Generative Insight Anticipation from Scientific Literature [84.95947892931142]
本稿では、下流紙のコアインサイトを基礎となる親論文から予測する世代課題であるインサイト予測を導入する。
実測値と実測値の類似性を評価するLM判定器を用いてモデル評価を行い,これらの類似性スコアが有能な人間の評価値と相関していることを示す。
GIANTS-4Bは、強化学習(RL)を用いて訓練されたLMで、これらの類似度スコアをプロキシ報酬として用いた洞察予測を最適化する。
論文 参考訳(メタデータ) (2026-04-10T18:13:55Z) - Improving Attributed Long-form Question Answering with Intent Awareness [40.6215587350577]
大規模言語モデル(LLM)は、包括的で知識集約的なレポートを生成するために、ますます利用されている。
構造化されたタグベースのスキームを開発して、暗黙の意図を書いて引用するようにします。
論文 参考訳(メタデータ) (2026-03-28T22:37:25Z) - REARANK: Reasoning Re-ranking Agent via Reinforcement Learning [69.8397511935806]
本稿では,大規模言語モデル(LLM)に基づくリストワイズ推論エージェントREARANKを提案する。
REARANKは、リランク前の明確な理由と、パフォーマンスと解釈性の両方を大幅に改善した。
論文 参考訳(メタデータ) (2025-05-26T14:31:48Z) - Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection [10.301985230669684]
本稿では,ニュース見出しにおけるフレーミングの検出において,GPT-4,GPT-3.5 Turbo,FLAN-T5モデルを包括的に分析する。
我々はこれらのモデルを,ゼロショット,ドメイン内例による少数ショット,クロスドメイン例,モデルが予測を説明する設定など,さまざまなシナリオで評価した。
論文 参考訳(メタデータ) (2024-02-18T15:27:48Z) - Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。
このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
論文 参考訳(メタデータ) (2023-08-03T12:47:17Z) - News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。
我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
論文 参考訳(メタデータ) (2022-09-26T01:04:52Z) - Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。
最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
論文 参考訳(メタデータ) (2022-06-06T03:38:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。