🏗️
Hierarchical Activation Steering
Multi-Scale Representation Control
Stage 12 Complete
10
精选论文
12/12
研究阶段
3
核心贡献
NeurIPS
目标会议
🔄 Research Evolution
单一引导
2306.11728
组合引导
2311.15548
层次引导
2402.05166
💡 Core Contribution
从单一尺度到多尺度：Transformer 不同层编码不同抽象层次的信息，复杂推理需要同时操控多个层次。
分层激活引导框架
在不同网络深度实现多尺度控制
自适应权重机制
自动学习各层引导权重
系统性评估
在多个推理基准上验证
⚠️ Research Gaps
G1 高
元学习自动权重
层次权重依赖手动调优
G5 高
组合-层次统一理论
缺乏统一的组合-层次框架
G2 中
信息论分析框架
层次引导的信息论分析不足
📋 Paper Outline
1 Introduction 1.5 pages
2 Background 2.5 pages
3 Hierarchical Framework 4 pages
4 Experimental Setup 2 pages
5 Results 4 pages
6 Discussion 2 pages
7 Conclusion 1 pages
Total: 17 pages Target: NeurIPS/ICML/ICLR
📚 Key Papers
core 2402.05166 Hierarchical Steering of Transformer
core 2306.11728 Activation Steering for LM Control
core 2310.01405 Representation Engineering