論文の概要: Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows
- arxiv url: http://arxiv.org/abs/2608.25215v1
- Date: Tue, 25 Aug 2026 23:11:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.48934
- Title: Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows
- Title（参考訳）: フェデレーションがほぼ無料、推論は不可能:タンパク質分析ワークフローにおけるAIの共同研究者とのトレードオフ
- Abstract要約: 自然言語による自律的共同科学者は、柔軟性と推論の基本的なトレードオフを含んでいる。
我々は,科学技術のための生産エージェントプラットフォーム上で,制御されたアブレーションを用いてトレードオフを体系的に評価した。
LLMの選択はトポロジーやプロンプトよりも予測品質をはるかに上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language driven autonomous co-scientist workflows involve a fundamental trade-off between flexibility and reasoning at the expense of determinism, reproducibility, and observability. Such agents increasingly must communicate across institutional boundaries, where federation topology can shape latency and cost. We systematically evaluated these tradeoffs using a controlled ablation on a production agentic platform for science. We use a verifiable task: given a protein sequence, we ask an agent to confidently characterize its function by routing across common tools. We compare federation topology, classic RL vs LLM-driven harnesses, language model, and prompt expertise. We also stratify results by protein novelty. We find that the choice of LLM dominated prediction quality far more than topology or prompting (Opus ~92%-94% vs o4-mini ~40%-50%). The PPO policy was nearly as accurate as the best LLM (88%) at zero token cost, fastest latency, and perfect consistency, but yields no reasoning trace. Expert prompted LLMs reached the highest accuracy but were high-cost and less consistent; prompt dependence was largest when the task was hardest. Federation imposed a negligible penalty on performance. These results offer actionable guidance for deploying agents for scientific workflows: for routine, verifiable tasks, a cheap deterministic policy delivers near-frontier accuracy with complete reproducibility, while flexible LLM reasoning is best reserved for open-ended discovery.
- Abstract（参考訳）: 自然言語による自律的共同科学者のワークフローは、決定論、再現性、可観測性を犠牲にして、柔軟性と推論の基本的なトレードオフを含む。
このようなエージェントは,フェデレーショントポロジが遅延やコストを生じさせるような,制度的な境界を越えて通信する必要がある。
我々は,これらのトレードオフを,科学のための生産エージェントプラットフォーム上で制御されたアブレーションを用いて体系的に評価した。
タンパク質配列が与えられたら、エージェントに共通のツールをルーティングすることで、その機能を確実に特徴付けるように頼みます。
我々は,フェデレーショントポロジ,古典的RLとLLM駆動型ハーネス,言語モデル,即興的な専門知識を比較した。
我々はまた、タンパク質の新規性によって結果を成す。
LLMの選択はトポロジーやプロンプトよりも予測品質をはるかに上回っている(Opus ~92%-94% vs o4-mini ~40%-50%)。
PPOポリシーはトークンコストがゼロで、レイテンシが高速で、一貫性が完璧で、最高のLLM(88%)とほぼ同等に正確だったが、推論の痕跡は得られなかった。
専門家はLSMが最高精度に達したが、高コストで一貫性が低い。
連盟はパフォーマンスに無視できる刑罰を課した。
これらの結果は、科学的ワークフローにエージェントを配置するための実用的なガイダンスを提供する: ルーチン、検証可能なタスクに対して、安価な決定論的ポリシーは、完全な再現性を備えた最前線に近い精度を提供する。
関連論文リスト
- Calibrate-Then-Act: Cost-Aware Exploration in LLM Agents [39.79150560622891]
これらのコスト不確実性トレードオフのバランスを明確に説明するために,LSMを誘導できることが示されています。
我々は、情報検索や符号化を含む複数のタスクを、不確実性の下でのシーケンシャルな意思決定問題として定式化する。
情報探索QAと簡易コーディングタスクの結果から,コスト対効果のトレードオフをCTAと明確にすることは,エージェントがより最適な意思決定戦略を発見するのに役立つことが示唆された。
論文 参考訳（メタデータ） (2026-02-18T18:46:14Z) - Stalled, Biased, and Confused: Uncovering Reasoning Failures in LLMs for Cloud-Based Root Cause Analysis [5.532586951580959]
LLMの推論動作を分離する実験的な評価手法を提案する。
我々は16の共通RCA推論失敗の分類をラベル付きで作成し、アノテーションにLLM-as-a-Judgeを使用する。
論文 参考訳（メタデータ） (2026-01-29T18:23:26Z) - Ask, Clarify, Optimize: Human-LLM Agent Collaboration for Smarter Inventory Control [11.796330722859574]
エンド・ツー・エンドの問題解決者としてのLLMの導入は,有意義な「ハロシン化税」を課していることを示す。
本稿では,数学的計算から意味論的推論を厳密に分離するハイブリッドエージェントフレームワークを提案する。
本研究は, LLMを, 厳密な解法ベースのポリシーを非専門家に利用できるようにする自然言語インタフェースとして位置づけた。
論文 参考訳（メタデータ） (2025-12-31T21:45:54Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳（メタデータ） (2025-11-09T03:38:29Z) - Repurposing Synthetic Data for Fine-grained Search Agent Supervision [81.95597592711688]
LLMベースの検索エージェントは、エンティティ中心の合成データに基づいてますます訓練されている。
一般的なトレーニングメソッドは、このリッチなエンティティ情報を破棄し、代わりにスパースで結果に基づく報酬に依存します。
E-GRPO(Entity-Aware Group Relative Policy Optimization)は、高密度なエンティティ認識報酬関数を定式化する新しいフレームワークである。
論文 参考訳（メタデータ） (2025-10-28T17:50:40Z) - HiPO: Hybrid Policy Optimization for Dynamic Reasoning in LLMs [54.16300997612526]
大規模言語モデル (LLM) は、複雑なタスクの正確性を改善するために、Chain-of-Thought (CoT) 推論にますます依存している。
本稿では適応推論制御のフレームワークであるHybrid Policy Optimization(HiPO)を紹介する。
数学とコーディングベンチマークによる実験は、HiPOがトークン長を大幅に削減し、正確性を維持したり改善したりすることを示した。
論文 参考訳（メタデータ） (2025-09-28T16:46:12Z) - LLMs are Greedy Agents: Effects of RL Fine-tuning on Decision-Making Abilities [21.42711537107199]
我々は,Large Language Models (LLMs) が意思決定シナリオにおいてサブ最適に機能する理由を考察する。
自己生成型CoT論理の強化学習(Reinforcement Learning, RL)による微調整によるこれらの欠点の緩和を提案する。
論文 参考訳（メタデータ） (2025-04-22T17:57:14Z) - Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。
本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
論文 参考訳（メタデータ） (2025-02-17T16:56:23Z) - VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。
本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
論文 参考訳（メタデータ） (2024-10-02T15:49:30Z) - Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。
Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
論文 参考訳（メタデータ） (2024-05-23T08:33:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。