Fugu-MT 論文翻訳(概要): Self-Improving Model Steering

論文の概要: Self-Improving Model Steering

arxiv url: http://arxiv.org/abs/2507.08967v1
Date: Fri, 11 Jul 2025 18:52:32 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:21.971892
Title: Self-Improving Model Steering
Title（参考訳）: 自己改善型モデルステアリング
Authors: Rongyi Zhu, Yuhui Wang, Tanqiu Jiang, Jiacheng Liang, Ting Wang,
Abstract要約: SIMSは,外部の監督に頼らずに動作する最初の自己改善型モデルステアリングフレームワークである。その中心となるSIMSは、反復的な自己改善サイクルを通じて、対照的なサンプルを自動生成し、精製する。 SIMSは, ステアリングの有効性と適応性において, 既存の手法を著しく上回っていることを示す。
参考スコア（独自算出の注目度）: 13.424901485601994
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Model steering represents a powerful technique that dynamically aligns large language models (LLMs) with human preferences during inference. However, conventional model-steering methods rely heavily on externally annotated data, not only limiting their adaptability to varying contexts but also tethering their effectiveness to annotation quality. In this paper, we present SIMS, the first self-improving model-steering framework that operates without relying on external supervision. At its core, SIMS autonomously generates and refines contrastive samples through iterative self-improvement cycles, enabling adaptive, context-specific steering. Additionally, SIMS employs novel strategies, including prompt ranking and contrast sampling, to further enhance steering efficacy. Extensive evaluation across diverse LLMs and benchmarks demonstrates that SIMS substantially outperforms existing methods in steering effectiveness and adaptability, highlighting self-improving model steering as a promising direction for future research on inference-time LLM alignment.
Abstract（参考訳）: モデルステアリングは、推論中に大きな言語モデル(LLM)と人間の好みを動的に整合させる強力な技術である。しかし、従来のモデルステアリング手法は外部の注釈付きデータに大きく依存しており、適応性を異なる文脈に制限するだけでなく、アノテーションの品質に有効性を結びつける。本稿では,外部監視に依存しない初の自己改善型モデルステアリングフレームワークであるSIMSを提案する。その中核となるSIMSは、反復的な自己改善サイクルを通じて、コントラスト的なサンプルを自律的に生成し、精製し、適応的でコンテキスト固有のステアリングを可能にする。さらにSIMSは、迅速なランキングとコントラストサンプリングを含む新しい戦略を採用し、ステアリングの有効性をさらに高めている。多様なLCMおよびベンチマークによる広範囲な評価は、SIMSが既存の方法よりも優れたステアリングの有効性と適応性を示し、将来の推論時LCMアライメント研究の有望な方向として自己改善モデルステアリングを強調している。

関連論文リスト

Revealing the Challenges of Sim-to-Real Transfer in Model-Based Reinforcement Learning via Latent Space Modeling [31.74241286023207]
強化学習(RL)は、ロボット制御や自律運転といった分野において、ますます重要な役割を担っている。シミュレーションと実環境のギャップは、RLの実践的な展開にとって大きな障害となっている。本稿では,シミュレーションが現実の政策改善に与える影響を分析するために,潜在空間に基づくアプローチを提案する。
論文参考訳（メタデータ） (2025-06-15T06:02:42Z)
Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration [15.711365331854614]
本稿では,新しいデータ適応フレームワークである動的推論軌道(DART)について紹介する。専門家のステップを均一に模倣する代わりに、DARTはステップワイド適応性推定によって導かれる選択的な模倣戦略を採用している。我々は、DARTを複数の推論ベンチマークとモデルスケールで検証し、一般化とデータ効率を大幅に改善することを示した。
論文参考訳（メタデータ） (2025-05-27T04:08:11Z)
Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
論文参考訳（メタデータ） (2025-04-10T04:09:47Z)
Improving Agent Behaviors with RL Fine-tuning for Autonomous Driving [17.27549891731047]
我々は,強化学習を用いた行動モデルのクローズドループ微調整によりエージェント動作の信頼性を向上させる。本手法は,衝突速度などの目標値の改善とともに,全体的な性能の向上を示す。シミュレーションエージェントが自律走行車プランナーの質を計測する能力を直接評価するための新しいポリシー評価ベンチマークを提案する。
論文参考訳（メタデータ） (2024-09-26T23:40:33Z)
MetaFollower: Adaptable Personalized Autonomous Car Following [63.90050686330677]
適応型パーソナライズされた自動車追従フレームワークであるMetaFollowerを提案する。まず,モデルに依存しないメタラーニング(MAML)を用いて,様々なCFイベントから共通運転知識を抽出する。さらに、Long Short-Term Memory (LSTM) と Intelligent Driver Model (IDM) を組み合わせて、時間的不均一性を高い解釈性で反映する。
論文参考訳（メタデータ） (2024-06-23T15:30:40Z)
Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
論文参考訳（メタデータ） (2024-05-24T23:09:27Z)
Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
論文参考訳（メタデータ） (2024-05-09T17:52:42Z)
Bridging the Sim-to-Real Gap with Bayesian Inference [53.61496586090384]
データからロボットダイナミクスを学習するためのSIM-FSVGDを提案する。我々は、ニューラルネットワークモデルのトレーニングを規則化するために、低忠実度物理プリエンスを使用します。高性能RCレースカーシステムにおけるSIM-to-realギャップのブリッジ化におけるSIM-FSVGDの有効性を実証する。
論文参考訳（メタデータ） (2024-03-25T11:29:32Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文参考訳（メタデータ） (2022-10-15T17:57:43Z)
Uncertainty-Aware Model-Based Reinforcement Learning with Application to Autonomous Driving [2.3303341607459687]
本稿では,新しい不確実性を考慮したモデルに基づく強化学習フレームワークを提案する。このフレームワークは適応的トランケーションアプローチに基づいて開発され、エージェントと環境モデルの間の仮想相互作用を提供する。開発したアルゴリズムは、エンド・ツー・エンドの自動運転車制御タスクで実装され、様々な運転シナリオにおける最先端の手法と比較される。
論文参考訳（メタデータ） (2021-06-23T06:55:14Z)
Objective-aware Traffic Simulation via Inverse Reinforcement Learning [31.26257563160961]
逆強化学習問題として交通シミュレーションを定式化する。動的ロバストシミュレーション学習のためのパラメータ共有逆強化学習モデルを提案する。提案モデルでは,実世界の車両の軌道を模倣し,同時に報酬関数を復元することができる。
論文参考訳（メタデータ） (2021-05-20T07:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。