論文の概要: Harnessing LLMs for Reliable Academic Supervision: A Comparative Study
- arxiv url: http://arxiv.org/abs/2607.14707v2
- Date: Mon, 20 Jul 2026 12:40:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 14:24:57.625295
- Title: Harnessing LLMs for Reliable Academic Supervision: A Comparative Study
- Title（参考訳）: 信頼性のあるアカデミック・スーパービジョンのためのハーネスリングLDM : 比較研究
- Abstract要約: 大規模言語モデルは、単発プロンプトに対する流動的な回答を日常的に生成するが、それらをドメイン決定システムの信頼性の高いコンポーネントとしてデプロイするのは、かなり難しい。
このギャップを埋めるのは、決定論的足場を意図的に構成する、ハーネスエンジニアリングの作業である。
本稿では,高評価,経時的アカウンタビリティ,構造化された運用研究を併用した,学術的監督の事例を紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models routinely produce fluent answers to single-shot prompts, yet deploying them as reliable components of a domain decision system is substantially harder. Closing this gap is the work of harness engineering: the deliberate composition of deterministic scaffolding (symbolic filters, retrieval, schema-typed I/O, LLM-as-judge loops, HITL gates, persistent state, audit trails) around an LLM core. We present a case study in academic supervision, a domain combining high-stakes recommendation, longitudinal accountability, and structured operational workflows. We compare a baseline Academic Supervision Assistant (ASA), a GPT-5 chatbot with no scaffolding, against a multi-module system, Academic Supervision System (ASuS) that wraps the much smaller GPT-4o-mini in a LangGraph harness with symbolic semantic retrieval, schema-validated outputs, LLM-as-judge with bounded retry, HITL gates, deterministic weighted risk scoring with LLM narration, and a per-node SQLite audit trail. The evaluation rubric is retargeted at six harness-mechanism dimensions (grounding, explainability, consistency, process integrity, cognitive load, constraint adherence). A blind ten-rater hybrid evaluation, supplemented by a 2 x 2 model-harness ablation, finds that ASuS, despite using a much smaller base model, outscores ASA on every dimension. Across ten raters the pooled mean for ASuS is 4.08 versus 1.23 for ASA, and 8 of 10 raters reject the null at alpha = 0.05 on a paired Wilcoxon test; full numbers are in Sections 6.4 and 6.7. The ablation confirms that the structural contributions of the harness are largely model-invariant. We extract seven recurring harness-engineering patterns and argue that where reliability, traceability, and institutional consistency matter more than open-ended fluency, harness engineering challenges the prevailing 'bigger model is better' intuition.
- Abstract（参考訳）: 大規模言語モデルは、単発プロンプトに対する流動的な回答を日常的に生成するが、それらをドメイン決定システムの信頼性の高いコンポーネントとしてデプロイするのは、かなり難しい。
決定論的スキャフォールディング(シンボルフィルタ、検索、スキーマ型I/O、LSM-as-judgeループ、HITLゲート、永続状態、監査パス)の故意の構成。
本稿では, 学術監督, ハイテイクレコメンデーション, 経時的説明責任, 構造化された運用ワークフローを組み合わせたドメインを事例として紹介する。
我々は,ベースラインのアカデミック・スーパービジョン・アシスタント (ASA) と,足場のない GPT-5 チャットボット (ASuS) と,より小さな GPT-4o-mini をLangGraph ハーネスにラップしたマルチモジュールシステム (ASuS) を比較した。
評価ルーリックは、6つのハーネス・メカニズム次元(グラウンドリング、説明可能性、一貫性、プロセスの整合性、認知負荷、制約順守)で再ターゲティングされる。
2×2のモデルハーネスアブレーションで補足されたブラインドテンレーターハイブリッド評価では、ASuSは、はるかに小さなベースモデルを使用しても、あらゆる次元においてASAを上回っている。
ASuSのプール平均はASAが4.08対1.23であり、10人のラッカーのうち8人はペアのウィルコクソン試験でアルファ = 0.05でヌルを拒絶している。
アブレーションはハーネスの構造的寄与が大半がモデル不変であることを確認する。
筆者らは、7つの繰り返しハーネスエンジニアリングパターンを抽出し、信頼性、トレーサビリティ、制度的整合性がオープン・エンド・フラレンシよりも重要である場合、エンジニアリングは「大きなモデルの方が優れている」という直感に挑戦する。
関連論文リスト
- LoRA Fine-Tuned Models for Control Systems Course Q\&A: A Multidimensional Evaluation of Model Scale and Rank Effects [12.865623591533456]
大型言語モデル (LLMs) は専門の大学コースでの利用が増えている。
直接的な汎用応答は、一貫性のない構造であり、検証が困難である。
我々は360度システム・ユーザ・アシスタント・会話の教師付き微調整データセットを構築した。
論文 参考訳（メタデータ） (2026-09-12T13:04:04Z) - Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework [9.601233098598456]
本研究では,LLMにおける推論品質を測定するための多次元統合フレームワークを提案する。
4つのベンチマークから975項目にまたがる7つのLCM実験により、このフレームワークは精度のみのメトリクスから見えない振る舞いを明らかにしている。
論文 参考訳（メタデータ） (2026-05-23T17:03:42Z) - Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers [0.0]
大規模言語モデル(LLM)は一般的に、各インスタンスを個別に解決する推論時プロシージャとして最適化にアプローチする。
本稿では,制約付きクナプサックの制御変種であるSDS(Synergistic Dependency Selection)について考察する。
Qwen2.5-Coder-14B-Instruct with Group Relative Policy Optimization using a feasibility-gated reward and light Structure scaffolding。
論文 参考訳（メタデータ） (2026-05-18T13:21:40Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - The Metacognitive Monitoring Battery: A Cross-Domain Benchmark for LLM Self-Monitoring [0.0]
本稿では,Nelson and Narens(1990)メタ認知フレームワークを基盤としたLLMにおけるモニタリング制御結合のドメイン間挙動測定を紹介する。
電池依存キャリブレーションは、単調低下(Q)、単調上昇(GPT-5.4)、平(Gemma)を含む。
発見は、独立なType-2 SDTアプローチと構造的に収束し、予備的なクロスメタルキャリブレーションを提供する。
論文 参考訳（メタデータ） (2026-04-17T05:15:15Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳（メタデータ） (2026-03-28T18:03:32Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。
本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。
LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文 参考訳（メタデータ） (2024-12-29T06:32:36Z) - Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。
LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。
複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
論文 参考訳（メタデータ） (2024-11-06T22:02:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。