論文の概要: The GRADIEND Python Package: An End-to-End System for Gradient-Based Feature Learning
- arxiv url: http://arxiv.org/abs/2602.23993v1
- Date: Fri, 27 Feb 2026 13:14:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 19:48:24.430601
- Title: The GRADIEND Python Package: An End-to-End System for Gradient-Based Feature Learning
- Title(参考訳): GRADIEND Pythonパッケージ: 勾配に基づく特徴学習のためのエンドツーエンドシステム
- Authors: Jonathan Drechsel, Steffen Herbold,
- Abstract要約: 我々は、GRADIENDメソッドを運用し、特徴方向を学習するオープンソースのPythonパッケージであるgradiendを提案する。
このパッケージは機能関連のデータ生成、トレーニング、評価、可視化、永続的なモデル書き換えのための統合ワークフローを提供する。
- 参考スコア(独自算出の注目度): 3.602377086789099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present gradiend, an open-source Python package that operationalizes the GRADIEND method for learning feature directions from factual-counterfactual MLM and CLM gradients in language models. The package provides a unified workflow for feature-related data creation, training, evaluation, visualization, persistent model rewriting via controlled weight updates, and multi-feature comparison. We demonstrate GRADIEND on an English pronoun paradigm and on a large-scale feature comparison that reproduces prior use cases.
- Abstract(参考訳): 本稿では,GRADIEND法を運用するオープンソースのPythonパッケージであるgradiendについて述べる。
このパッケージは、機能関連のデータ生成、トレーニング、評価、可視化、制御された重み付け更新による永続的なモデル書き換え、複数機能比較のための統合ワークフローを提供する。
我々は、GRADIENDを英語の代名詞パラダイムと、それ以前のユースケースを再現した大規模特徴比較で実証する。
関連論文リスト
- The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。
本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
論文 参考訳(メタデータ) (2025-05-23T20:28:31Z) - You've Changed: Detecting Modification of Black-Box Large Language Models [4.7541096609711]
大規模言語モデル(LLM)はAPIを通じてサービスとして提供されることが多いため、開発者は振る舞いの変化を検出することが難しい。
生成したテキストの言語的特徴と心理言語学的特徴の分布を比較することで,変化に対するLLMの監視手法を提案する。
論文 参考訳(メタデータ) (2025-04-14T04:16:43Z) - Evolutionary Prompt Optimization Discovers Emergent Multimodal Reasoning Strategies in Vision-Language Models [0.0]
本稿では,視覚言語モデルにおけるプロンプトを最適化するフレームワークを提案する。
このアプローチにより、言語モデルは、進化世代間で進歩的な問題解決手法を独立して発見できる。
論文 参考訳(メタデータ) (2025-03-30T16:25:45Z) - Training Large Recommendation Models via Graph-Language Token Alignment [53.3142545812349]
本稿では,グラフ言語トークンアライメントによる大規模推薦モデルのトレーニングを行う新しいフレームワークを提案する。
インタラクショングラフからアイテムとユーザノードを事前訓練されたLLMトークンにアライメントすることで、GLTAはLLMの推論能力を効果的に活用する。
さらに、エンドツーエンドのアイテム予測のためのトークンアライメントを最適化するために、GLLM(Graph-Language Logits Matching)を導入する。
論文 参考訳(メタデータ) (2025-02-26T02:19:10Z) - Input Conditioned Graph Generation for Language Agents [31.2175071107555]
言語エージェントをグラフとして抽象化する既存のフレームワークを用いて,学習可能な動的言語エージェントを開発する。
我々は与えられた入力に基づいて通信の流れを表すエッジを生成することを学び、それによって言語エージェントの内部通信を調整する。
提案手法は,MMLUとCMMLUを併用したデータセットにおいて,従来の静的アプローチを約6%の精度で上回り,疎度誘導損失のトレーニングでは10%以上の精度で適用できる。
論文 参考訳(メタデータ) (2024-06-17T13:53:15Z) - Aligning Language Models with Demonstrated Feedback [58.834937450242975]
Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。
我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
論文 参考訳(メタデータ) (2024-06-02T23:13:56Z) - DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。
ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。
ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
論文 参考訳(メタデータ) (2024-05-22T15:52:52Z) - Past as a Guide: Leveraging Retrospective Learning for Python Code
Completion [9.284740716447336]
この研究は、過去の歴史をインタラクティブで反復的なコード修正と統合することで、コーディング能力を改善するためにPass as a Guide(PaG)を提示する。
人間の認知プロセスにインスパイアされた具体的な方法として、LLMは従来のプログラミングとデバッグの経験を利用してPythonのコード補完タスクを強化することができる。
論文 参考訳(メタデータ) (2023-11-13T14:40:33Z) - Context-Aware Meta-Learning [52.09326317432577]
本研究では,大規模言語モデルのエミュレートを行うメタ学習アルゴリズムを提案する。
我々のアプローチは、11のメタラーニングベンチマークのうち8つで最先端のアルゴリズムであるP>M>Fを上回り、一致します。
論文 参考訳(メタデータ) (2023-10-17T03:35:27Z) - Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
大規模言語モデル(LLM)は、文脈内で学習する能力を示している。
文脈内学習の有効性は、選択した例の品質に大きく依存する。
高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-14T05:23:08Z) - Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data
Augmentation [42.05617728412819]
大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。
我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
論文 参考訳(メタデータ) (2023-05-23T07:54:34Z) - Otter: A Multi-Modal Model with In-Context Instruction Tuning [53.86022923017274]
textbfOtterモデルを導入し、テキストとビジュアルのインテキストの両方の例をインストラクションチューニングに活用する。
Otterはマルチモーダル入力をシームレスに処理し、テキスト、複数画像、動的ビデオコンテンツなどのモダリティをサポートする。
我々は,300万以上のマルチモーダル命令応答対を含むtextbfMIMIC-ITデータセットを提案する。
論文 参考訳(メタデータ) (2023-05-05T17:59:46Z) - PyTAIL: Interactive and Incremental Learning of NLP Models with Human in
the Loop for Online Data [1.576409420083207]
PyTAILは、人間のループアプローチでNLPモデルを積極的に訓練できるピソンライブラリである。
テキスト分類のための既存のソーシャルメディアベンチマークデータセット上でのPyTAILの性能をシミュレートする。
論文 参考訳(メタデータ) (2022-11-24T20:08:15Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。