論文の概要: Scaling Open-Weight Large Language Models for Hydropower Regulatory Information Extraction: A Systematic Analysis

• arxiv url: http://arxiv.org/abs/2511.11821v1
• Date: Fri, 14 Nov 2025 19:23:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.325744
• Title: Scaling Open-Weight Large Language Models for Hydropower Regulatory Information Extraction: A Systematic Analysis
• Title（参考訳）: 水力規制情報抽出のためのオープンウェイト大規模言語モデルのスケーリング:システム解析
• Authors: Hong-Jun Yoon, Faisal Ashraf, Thomas A. Ruggles, Debjani Singh,
• Abstract要約: 大規模言語モデルを用いた規制文書からの情報抽出は、性能と計算資源間の重要なトレードオフを示す。 実験的な展開ガイダンスを提供するために,水力ライセンス文書上で7つのオープンウェイトモデル(0.6B-70Bパラメータ)を評価した。
• 参考スコア（独自算出の注目度）: 0.2555802789878571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information extraction from regulatory documents using large language models presents critical trade-offs between performance and computational resources. We evaluated seven open-weight models (0.6B-70B parameters) on hydropower licensing documentation to provide empirical deployment guidance. Our analysis identified a pronounced 14B parameter threshold where validation methods transition from ineffective (F1 $<$ 0.15) to viable (F1 = 0.64). Consumer-deployable models achieve 64\% F1 through appropriate validation, while smaller models plateau at 51\%. Large-scale models approach 77\% F1 but require enterprise infrastructure. We identified systematic hallucination patterns where perfect recall indicates extraction failure rather than success in smaller models. Our findings establish the first comprehensive resource-performance mapping for open-weight information extraction in regulatory contexts, enabling evidence-based model selection. These results provide immediate value for hydropower compliance while contributing insights into parameter scaling effects that generalize across information extraction tasks.
• Abstract（参考訳）: 大規模言語モデルを用いた規制文書からの情報抽出は、性能と計算資源間の重要なトレードオフを示す。 実験的な展開ガイダンスを提供するために,水力ライセンス文書上で7つのオープンウェイトモデル(0.6B-70Bパラメータ)を評価した。 分析の結果,有効でない (F1 $<$ 0.15) から有効 (F1 = 0.64) に遷移する14Bパラメータしきい値が得られた。 消費者にデプロイ可能なモデルは適切な検証によって64\% F1を達成するが、小さなモデルは51\%である。 大規模モデルは 77\% F1 にアプローチするが、企業インフラが必要である。 我々は,より小さなモデルでの成功よりも,完全なリコールが抽出失敗を示す体系的な幻覚パターンを同定した。 本研究は,エビデンスに基づくモデル選択が可能なオープンウェイト情報抽出のための,最初の総合的なリソースパフォーマンスマッピングを確立した。 これらの結果は、情報抽出タスク全体にわたって一般化されるパラメータスケーリング効果に関する洞察を提供しながら、水力コンプライアンスの即時価値を提供する。

関連論文リスト

• Extract-0: A Specialized Language Model for Document Information Extraction [0.0]
  本稿では,文書情報抽出に特化して最適化された7ビリオンパラメータ言語モデルであるExtract-0を提案する。 Extract-0は、GPT-4.1 (0.457)、o3 (0.464)、GPT-4.1-2025 (0.459)を上回り、1000種類の文書抽出タスクのベンチマークで0.573の平均的な報酬を得る。
  論文  参考訳（メタデータ） (2025-09-26T20:34:43Z)
• Low-Resource Fine-Tuning for Multi-Task Structured Information Extraction with a Billion-Parameter Instruction-Tuned Model [0.0]
  金融コンプライアンス報告のようなドメインで構造化データ抽出のための大きな言語モデル(LLM)をデプロイすることは、大規模なアーキテクチャを実行するコストが高いことと、大規模で高品質なデータセットを作成するのが難しいため、小規模チームにとって現実的ではないことが多い。 本研究は,タスク毎のサンプル数,知識グラフ抽出,名前付きエンティティ認識に対して,低ランク適応を施した10億パラメータLLaMAモデルを提案する。 これらの結果は、十分に調整された小型モデルが、計算コストのごく一部で安定かつ正確な構造化された出力を提供できることを示し、資源中のコスト効率と信頼性の高い情報抽出パイプラインを可能にする。
  論文  参考訳（メタデータ） (2025-09-10T08:19:07Z)
• EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
  マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。 提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。 視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-19T16:07:04Z)
• Enhancing Aspect-based Sentiment Analysis in Tourism Using Large Language Models and Positional Information [14.871979025512669]
  本稿では,Aspect-Category-Sentiment Quadruple extract (ACOSQE)のためのアスペクトベース感情分析モデルACOS_LLMを提案する。 このモデルは補助知識生成とACOSQEという2つの重要な段階から構成される。 その結果、F1は観光データセットの他のモデルと比較して7.49%改善した。
  論文  参考訳（メタデータ） (2024-09-23T13:19:17Z)
• Crafting Efficient Fine-Tuning Strategies for Large Language Models [2.633490094119608]
  200サンプル未満の細調整された大型言語モデル(LLM)は、製品属性抽出タスクにおいて、モデル精度を70%から88%に向上させることができる。 トレーニング時間全体の20%のモデルを評価するベイズハイパーパラメータ最適化法は,最終的なモデル性能と強く相関する。 このアプローチにより、独立したテストセットで評価すると、ベースラインモデルよりも精度が2%向上した。
  論文  参考訳（メタデータ） (2024-07-18T21:36:00Z)
• AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
  ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。 手作り正則化技術を用いた頑健な微調整への最近のアプローチ 我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:58:49Z)
• Astraios: Parameter-Efficient Instruction Tuning Code Large Language Models [21.17021844323919]
  Astraiosは7つのチューニングメソッドと最大16億のパラメータの4つのモデルサイズを使用して、命令チューニングされた28のOctoCoderモデルのスイートである。 その結果、FFTは全スケールで最高のダウンストリーム性能を示し、PEFT法はモデルスケールに基づいてその有効性に大きな違いがあることがわかった。
  論文  参考訳（メタデータ） (2024-01-01T15:30:19Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer [76.2625311630021]
  視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。 この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。 グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
  論文  参考訳（メタデータ） (2023-01-13T00:40:24Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• CHEER: Rich Model Helps Poor Model via Knowledge Infusion [69.23072792708263]
  我々は、そのようなリッチなモデルを伝達可能な表現に簡潔に要約できる知識注入フレームワークCHEERを開発した。 実験の結果、CHEERは複数の生理的データセットのマクロF1スコアにおいて、ベースラインを5.60%から46.80%上回った。
  論文  参考訳（メタデータ） (2020-05-21T21:44:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。