論文の概要: Automated Instruction Revision (AIR): A Structured Comparison of Task Adaptation Strategies for LLM
- arxiv url: http://arxiv.org/abs/2604.09418v1
- Date: Fri, 10 Apr 2026 15:28:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.934335
- Title: Automated Instruction Revision (AIR): A Structured Comparison of Task Adaptation Strategies for LLM
- Title(参考訳): 自動指導改訂(AIR):LLMにおけるタスク適応戦略の構造的比較
- Authors: Solomiia Bilyk, Volodymyr Getmanskyi, Taras Firman,
- Abstract要約: 本稿では,大規模言語モデルを下流タスクに適用するためのルール推論手法であるAutomated Instruction Revision(AIR)について検討する。
我々はAIRを、迅速な最適化、検索に基づく手法、微調整を含む適応戦略の広い視野に配置する。
知識注入や構造化抽出,ラベルリマッピング,論理的推論など,さまざまなタスク要件に重点を置くように設計された多様なベンチマークスイートに対して,これらのアプローチを比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies Automated Instruction Revision (AIR), a rule-induction-based method for adapting large language models (LLMs) to downstream tasks using limited task-specific examples. We position AIR within the broader landscape of adaptation strategies, including prompt optimization, retrieval-based methods, and fine-tuning. We then compare these approaches across a diverse benchmark suite designed to stress different task requirements, such as knowledge injection, structured extraction, label remapping, and logical reasoning. The paper argues that adaptation performance is strongly task-dependent: no single method dominates across all settings. Across five benchmarks, AIR was strongest or near-best on label-remapping classification, while KNN retrieval performed best on closed-book QA, and fine-tuning dominated structured extraction and event-order reasoning. AIR is most promising when task behavior can be captured by compact, interpretable instruction rules, while retrieval and fine-tuning remain stronger in tasks dominated by source-specific knowledge or dataset-specific annotation regularities.
- Abstract(参考訳): 本稿では,大規模言語モデル(LLM)を下流タスクに適用するためのルール推論手法であるAIR(Automated Instruction Revision)について,限定的なタスク固有例を用いて検討する。
我々はAIRを、迅速な最適化、検索に基づく手法、微調整を含む適応戦略の広い視野に配置する。
次にこれらのアプローチを、知識注入、構造化抽出、ラベルリマッピング、論理的推論など、さまざまなタスク要件を強調するために設計された多様なベンチマークスイートで比較する。
論文では、適応性能はタスク依存に強く依存しており、すべての設定で1つのメソッドが支配的ではないと論じている。
5つのベンチマークにおいて、AIRはラベルリマッピングの分類において最強もしくは最強であり、一方KNN検索はクローズドブックQAにおいて最良であり、微調整は構造化抽出とイベント順序推論で支配的であった。
AIRは、タスクの振る舞いをコンパクトで解釈可能な命令規則によってキャプチャできる場合に最も有望であり、一方、検索と微調整は、ソース固有の知識やデータセット固有のアノテーション規則によって支配されるタスクにおいて強くなっています。
関連論文リスト
- Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models [18.829572148850563]
ACE(Agentic Context Engineering)は、コンテキストを進化するプレイブックとして扱うフレームワークである。
エージェントとドメイン固有のベンチマークを通じて、ACEは一貫して強力なベースラインを上回っている。
ACEは、ラベル付けされた監視なしに効果的に適応することができ、代わりに自然な実行フィードバックを活用することができる。
論文 参考訳(メタデータ) (2025-10-06T09:30:18Z) - STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment [24.80531387685099]
本稿では,効率,一般化性,性能のバランスを保った2段階の模範選択戦略を提案する。
まず、BERTベースのレトリバーを構造意識の監視を用いて微調整し、意味論的に関連性があり構造的に整合した模範を選定する。
次に,隠れ表現において構文的に意味のある情報を増幅するプラグインモジュールを用いて,検索機能を強化した。
論文 参考訳(メタデータ) (2025-08-28T16:04:39Z) - GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。
提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
論文 参考訳(メタデータ) (2025-08-11T06:22:25Z) - Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。
本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
論文 参考訳(メタデータ) (2025-06-16T07:55:14Z) - CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。
学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。
本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文 参考訳(メタデータ) (2024-06-07T19:10:35Z) - Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。
複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
論文 参考訳(メタデータ) (2024-05-22T13:14:11Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。