論文の概要: Comparing Bottom-Up and Top-Down Steering Approaches on In-Context Learning Tasks

• arxiv url: http://arxiv.org/abs/2411.07213v1
• Date: Mon, 11 Nov 2024 18:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:08:25.556689
• Title: Comparing Bottom-Up and Top-Down Steering Approaches on In-Context Learning Tasks
• Title（参考訳）: 文脈内学習課題におけるボトムアップとトップダウンステアリング手法の比較
• Authors: Madeline Brumley, Joe Kwon, David Krueger, Dmitrii Krasheninnikov, Usman Anwar,
• Abstract要約: 大規模言語モデルにおける解釈可能性研究の主目的は、望ましい行動に向けてモデルをしっかりと操る手法を開発することである。 本研究は, 各ブランチにおける代表ベクトルステアリング手法の有効性を比較したケーススタディである。 ICVは行動シフトにおいてFVよりも優れており、FVはより精度の高いタスクにおいて優れていた。
• 参考スコア（独自算出の注目度）: 7.363811256593798
• License:
• Abstract: A key objective of interpretability research on large language models (LLMs) is to develop methods for robustly steering models toward desired behaviors. To this end, two distinct approaches to interpretability -- ``bottom-up" and ``top-down" -- have been presented, but there has been little quantitative comparison between them. We present a case study comparing the effectiveness of representative vector steering methods from each branch: function vectors (FV; arXiv:2310.15213), as a bottom-up method, and in-context vectors (ICV; arXiv:2311.06668) as a top-down method. While both aim to capture compact representations of broad in-context learning tasks, we find they are effective only on specific types of tasks: ICVs outperform FVs in behavioral shifting, whereas FVs excel in tasks requiring more precision. We discuss the implications for future evaluations of steering methods and for further research into top-down and bottom-up steering given these findings.
• Abstract（参考訳）: 大規模言語モデル(LLMs)の解釈可能性研究の鍵となる目的は、望ましい行動に向けてモデルを堅牢に操る手法を開発することである。 この目的のために、解釈可能性に対する2つの異なるアプローチである ``bottom-up" と ` ``top-down" が提示されているが、それらの比較はほとんど行われていない。 本稿では,各ブランチにおける代表ベクトルステアリング手法の有効性について,ボトムアップ手法として関数ベクトル (FV; arXiv:2310.15213) と,トップダウン手法としてコンテキストベクトル (ICV; arXiv:2311.06668) を比較した。 ICVは行動シフトにおいてFVよりも優れており、FVはより精度の高いタスクで優れている。 本研究の目的は, ステアリング手法の今後の評価と, トップダウンおよびボトムアップのステアリングに関するさらなる研究である。

関連論文リスト

• Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging [33.23758947497205]
  高度な埋め込みモデルは、通常、大規模マルチタスクデータと複数のタスクをまたいだ共同トレーニングを用いて開発される。 これらの課題を克服するために、独立に訓練されたモデルを組み合わせて勾配の衝突を緩和し、データ分散のバランスをとるモデルマージングについて検討する。 本稿では,勾配降下を用いたタスクベクトル空間内の最適モデル組合せを効率的に探索する新たな手法であるSelf Positioningを提案する。
  論文  参考訳（メタデータ） (2024-10-19T08:39:21Z)
• FlowRetrieval: Flow-Guided Data Retrieval for Few-Shot Imitation Learning [28.523528119584526]
  擬似学習は、与えられた下流タスクに対するポリシーを効率的に適応するために、少数のタスク固有のデモンストレーションにのみ依存する。 本稿では,従来のデータから目標タスクに類似した動作を抽出するために,光フロー表現を利用するFlowRetrievalを提案する。 その結果,FlowRetrievalは,シミュレーションや実世界のドメイン間で,従来の手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-08-29T23:48:08Z)
• Towards Understanding Sensitive and Decisive Patterns in Explainable AI: A Case Study of Model Interpretation in Geometric Deep Learning [18.408342615833185]
  本研究は,2つの重要なデータパターン -- センシティブなパターン(モデル関連)と決定的なパターン(タスク関連)の区別に焦点を当てる。 本稿では,ポストホック法と自己解釈法という2つの主要な解釈手法の有効性を比較した。 以上の結果から, 自己解釈可能な手法は, 決定的パターンの検出において, 強い, 安定した性能を示すのに対し, ポストホック法は, 感度の高いパターンとよりよく一致した解釈を提供する傾向があることが示唆された。
  論文  参考訳（メタデータ） (2024-06-30T22:59:15Z)
• KOPPA: Improving Prompt-based Continual Learning with Key-Query Orthogonal Projection and Prototype-based One-Versus-All [26.506535205897443]
  本稿では,新しいキークエリ学習戦略を導入し,マッチング効率を向上し,機能変更の課題に対処する。 提案手法は,現在の最先端手法を最大20%の差で超えた結果を達成するためのモデルである。
  論文  参考訳（メタデータ） (2023-11-26T20:35:19Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• ACP++: Action Co-occurrence Priors for Human-Object Interaction Detection [102.9428507180728]
  ヒューマン・オブジェクト・インタラクション(HOI)検出のタスクにおける一般的な問題は、多数のHOIクラスが少数のラベル付き例しか持たないことである。 我々は、人間と物体の相互作用の間に自然の相関関係と反相関が存在することを観察した。 我々は、これらの先行知識を学習し、特に稀なクラスにおいて、より効果的な訓練に活用する手法を提案する。
  論文  参考訳（メタデータ） (2021-09-09T06:02:50Z)
• Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning [51.03781020616402]
  現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。 そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。 粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
  論文  参考訳（メタデータ） (2021-08-15T02:21:01Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• SIMPLE: SIngle-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation [81.03485688525133]
  Single-network with Mimicking and Point Learning for Bottom-up Human Pose Estimation (SIMPLE) を提案する。 具体的には、トレーニングプロセスにおいて、SIMPLEが高性能なトップダウンパイプラインからのポーズ知識を模倣できるようにする。 さらに、SIMPLEは人間検出とポーズ推定を統一的なポイントラーニングフレームワークとして定式化し、単一ネットワークで相互に補完する。
  論文  参考訳（メタデータ） (2021-04-06T13:12:51Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。