論文の概要: StrategyBench: Evaluating Explicit Strategy Induction in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.23475v1
- Date: Mon, 24 Aug 2026 16:41:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.200732
- Title: StrategyBench: Evaluating Explicit Strategy Induction in Large Language Models
- Title（参考訳）: StrategyBench: 大規模言語モデルにおける明示的な戦略誘導の評価
- Abstract要約: In-context Learning (ICL) はタスク適応の重要なパラダイムとなっている。
Direct ICLは、タスクルールを明示的に抽象化することなく、小さな例のセットを使用することが多い。
人間の学習者は、まずタスクルールを例から要約し、新しいインスタンスに適用することで、そのような感度を低下させる。
- 参考スコア（独自算出の注目度）: 36.381926644656765
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models are increasingly used in data-scarce and evolving task scenarios, few-shot in-context learning (ICL) has become a key paradigm for task adaptation. However, direct ICL often uses a small set of examples without explicitly abstracting task rules, making it sensitive to example construction. In contrast, human learners often reduce such sensitivity by first summarizing task rules from examples and then applying them to new instances. To evaluate this ability, we propose StrategyBench, which selects strategy-inducible tasks from BIG-Bench, constructs reference strategies, and defines evaluation metrics along two dimensions: strategy quality and downstream utility. We further analyze strategy induction from three perspectives: task variation, model configuration, and adaptation setting, covering category-wise differences, generator-executor choices, demonstration design, and SFT-based adaptation. Experiments show that explicit strategy utility differs substantially across task categories and depends on both strategy generation and execution conditions. The benchmark is released at: https://anonymous.4open.science/r/StrategyBench-D53C.
- Abstract（参考訳）: 大規模言語モデルがデータスカースやタスクシナリオの進化にますます使われるようになるにつれ、ICL(In-context Learning)はタスク適応の重要なパラダイムとなっている。
しかし、直接ICLはタスクルールを明示的に抽象化することなく小さな例のセットを使用することが多く、例の構成に敏感である。
対照的に、人間の学習者は、まずタスクルールを例から要約し、新しいインスタンスに適用することで、そのような感度を低下させる。
この能力を評価するために,BIG-Benchから戦略誘導型タスクを選択し,参照戦略を構築し,戦略品質と下流ユーティリティの2つの側面に沿って評価指標を定義するStrategyBenchを提案する。
さらに,課題変動,モデル構成,適応設定の3つの視点から戦略誘導を解析し,カテゴリ的差異,ジェネレータ・エグゼクタ選択,デモ設計,SFTに基づく適応を網羅する。
実験によると、明示的な戦略ユーティリティはタスクカテゴリによって大きく異なり、戦略生成と実行条件の両方に依存している。
ベンチマークは、https://anonymous.4open.science/r/StrategyBench-D53Cで公開されている。
関連論文リスト
- Strategy-Induct: Task-Level Strategy Induction for Instruction Generation [23.56553381765231]
ストラテジーインダクト(Strategy-Induct)は、少数の例題のみからタスクレベルの命令を導出するフレームワークである。
私たちのアプローチはまず、各質問に対して明確な推論戦略を生成し、(ストラテジー、質問)ペアを形成するようにモデルに促します。
これらのペアは、推論を導くタスク命令を誘導するために使用される。
論文 参考訳（メタデータ） (2026-05-20T09:10:43Z) - Automated Instruction Revision (AIR): A Structured Comparison of Task Adaptation Strategies for LLM [0.0]
本稿では,大規模言語モデルを下流タスクに適用するためのルール推論手法であるAutomated Instruction Revision(AIR)について検討する。
我々はAIRを、迅速な最適化、検索に基づく手法、微調整を含む適応戦略の広い視野に配置する。
知識注入や構造化抽出,ラベルリマッピング,論理的推論など,さまざまなタスク要件に重点を置くように設計された多様なベンチマークスイートに対して,これらのアプローチを比較した。
論文 参考訳（メタデータ） (2026-04-10T15:28:05Z) - Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance [86.46794021499511]
戦略利用と戦略実行可能性の間には、これまで未定のギャップがある。
SSR(Selective Strategy Retrieval)は,実行可能性を明確にモデル化するテストタイムフレームワークである。
SSRは、直接解決、文脈内学習、単一ソースガイダンスよりも信頼性が高く一貫した改善をもたらす。
論文 参考訳（メタデータ） (2026-02-26T03:34:23Z) - Experience-Guided Adaptation of Inference-Time Reasoning Strategies [49.954515048847874]
Experience-Guided Reasoner (EGuR) は蓄積された経験に基づいて推論時に調整された戦略を生成する。
EGuRは最強のベースラインに対して最大14%の精度向上を実現し、計算コストを最大111倍に削減する。
論文 参考訳（メタデータ） (2025-11-14T17:45:28Z) - Plan before Solving: Problem-Aware Strategy Routing for Mathematical Reasoning with LLMs [49.995906301946]
既存の手法は通常、数学的推論を行うためにLLM(Large Language Models)をガイドするための固定戦略を利用する。
分析の結果,単一戦略は問題固有の要件に適応できず,有効性と効率性のトレードオフを見落としていることが明らかとなった。
本稿では,PRISM(Planning and Routing through Instance-Specific Modeling)を提案する。
論文 参考訳（メタデータ） (2025-09-29T07:22:41Z) - STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment [24.80531387685099]
本稿では,効率,一般化性,性能のバランスを保った2段階の模範選択戦略を提案する。
まず、BERTベースのレトリバーを構造意識の監視を用いて微調整し、意味論的に関連性があり構造的に整合した模範を選定する。
次に,隠れ表現において構文的に意味のある情報を増幅するプラグインモジュールを用いて,検索機能を強化した。
論文 参考訳（メタデータ） (2025-08-28T16:04:39Z) - StrategyLLM: Large Language Models as Strategy Generators, Executors, Optimizers, and Evaluators for Problem Solving [76.5322280307861]
StrategyLLM は LLM が帰納的推論、特定のタスクインスタンスからの一般的な戦略の導出、帰納的推論を可能にし、これらの一般的な戦略を特定のタスク例に適用し、一般化可能で一貫した数発のプロンプトを構築する。
実験の結果、StrategyLLMは、数学推論(34.2%$rightarrow$38.8%)、コモンセンス推論(70.3%$rightarrow$72.5%)、アルゴリズム推論(73.7%$rightarrow$85.0)を含む、4つの難しいタスクにまたがる13のデータセットに対して、人間によるアノテートソリューションを必要とする競争ベースラインのCoT-SCよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-11-15T09:18:09Z) - In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。
モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか?
GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。
この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
論文 参考訳（メタデータ） (2023-11-13T23:52:43Z) - Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。
既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。
各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
論文 参考訳（メタデータ） (2023-05-23T18:01:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。