OP 0004: 字节码虚拟机(重新实现)¶
摘要¶
Oort 需要一个寄存器式字节码 VM 作为动态方言的高性能后端。早期实现已被移除; 本提案记录移除原因,以及在重新实现前必须满足的设计约束。
背景:为什么移除旧实现¶
旧实现在 src/oort_lang/bytecode/,约 2000 行,覆盖常量、部分算术与原生调用。
主要问题不是“完成度低”,而是会静默产生错误结果:
BytecodeGenerator对未实现的 visitor 使用ASTVisitor的默认行为(遍历子节点), 于是if不生成跳转(then 分支总是执行)、while只执行一次、 函数/类体在定义处被内联执行、def f没有创建函数对象。var声明只生成初始化表达式,不存储;print(x)因此报x未定义。- 一元运算的寄存器释放会回收仍在使用的临时寄存器;调用要求实参恰好相邻, 没有 MOVE 兜底。
- 布尔/空值指令的格式与操作数约定不一致,会覆写 R0(例如把
print函数覆盖掉)。 - 属性/下标/upvalue 指令要么是 stub,要么读写不存在的
_obj_dict。 - 行号表、异常表、upvalue 描述从未填充;错误定位全部落到首行。
- 测试只覆盖数据结构(opcode 常量、常量池、反汇编器),没有任何“编码 → 执行”测试。
结论:在语义尚未稳定时,字节码后端把寄存器分配、闭包布局、异常表等工程复杂度 提前引入,并且因为缺少“未实现即报错”的约束,产生了比不实现更糟的结果。 因此删除整包与相关测试;设计文档保留,作为重新实现的参考。
重新实现的前置条件¶
- 显式失败:编译器对所有未实现节点必须抛错,禁止依赖 visitor 的默认穿透。
- 语义先稳定:
if/for/while/函数/闭包/类、容器、切片、增强赋值在 树遍历解释器上都有测试并通过后再开始。 - 独立测试:先写“AST → 期望字节码”的快照测试,再写“字节码 → 结果”的端到端测试; 不允许只有数据结构测试。
- 统一对象模型:不得另建一套值/属性模型(旧实现的
_obj_dict与解释器不兼容)。 - 元数据完整:行号表、局部变量名、upvalue 描述、异常表在第一个里程碑就要生成。
- 寄存器分配:明确“实参必须位于
func, func+1, ...”的不变量,并提供 MOVE 兜底;局部变量与临时寄存器的生命周期需有单测。 - 基准:先用 benchmark 证明树遍历解释器的瓶颈,再决定投入。
设计方向(沿用设计笔记 02)¶
- 寄存器式(Lua 风格),定长 32 位指令;
- 闭包使用 upvalue(打开/关闭 upvalue);
- 动态模块使用带标签值,静态模块可生成未装箱代码;
- 行号表与异常表一等公民;
- 与 AST 解释器共享
Environment与对象模型,不重复实现。
替代方案¶
- 继续使用树遍历解释器:实现最快,性能有限;当前阶段合理。
- 直接生成 Python 代码并缓存:开发快,但无法体现编译原理教学价值。
- 直接上 LLVM:需要类型信息与内存模型,过早。
实现进展(2026-11-21 第一切片)¶
- HIR:
src/oort_lang/hir/线性寄存器 HIR(常量、局部/全局、算术、跳转、 调用、返回、迭代器、函数定义),动态子集 lowering 与结构校验;未实现节点 在 lowering 阶段显式抛UnsupportedSyntax。设计见 HIR 设计 13。 - 字节码:
src/oort_lang/bytecode/32 位 ABC/ABx/AsBx/Ax、常量池、 相对跳转回填、line_table、Proto、反汇编;-t bc可查看。 - VM:
runtime/bytecode_vm.py寄存器帧,复用 Environment/内建/类型/运算符/ 迭代器协议;-t vm执行当前子集。Int 算术/比较/一元快速路径,其余回退 解释器语义;字面量每次求值重新包装以保持is的身份语义。 - 约束落实:调用使用 scratch 区约定;
ITER_NEXT展开为两字; 未支持 opcode/构造显式报错,不做默认穿透。 - 基准:当前机器、历史里程碑与跨语言参考统一记录在
benchmarks/RESULTS.md;早期第一切片与完整 子集的对比也在该文件的历史表中。实现进展不复制具体数字。 - 闭包与函数值:lambda(显式参数与匿名
$0)降低为独立 proto;MAKE_CLOSURE捕获定义帧,LOAD_OUTER/STORE_OUTER读写外层局部。 VM 闭包可赋值、返回、放入集合、经下标/嵌套调用,也可传给map等原生 高阶助手。含闭包的函数使用局部 cell;循环每轮用FRESH替换循环变量与体内 局部 cell,因此迭代闭包持有自己的绑定,外层变量仍共享。 - 类与方法:顶层动态类降低为
BUILD_CLASS;实例/类/运算符方法以this槽 0 降低并捕获定义帧,属性查找绑定为OortVMMethod。支持单/多继承、 元类、__init__、__iter__、类方法(写入元类)、运算符方法(写入类型 运算符表)与super(闭包记录defining_type)。扩展方法/运算符降低为REGISTER_EXT,注册到当前帧的扩展作用域;导入激活与扩展内super同样 生效。类体槽、嵌套类等仍拒绝。 - 下标/属性与增强赋值:VM 的
GET_ITEM/SET_ITEM复用解释器get_item/set_item,用户"[]"/"[]="与on_missing生效; 增强赋值降低为读-改-写(名字、属性、下标)。 - 模块:顶层
import/from降低为IMPORT;VM 复用现有ModuleLoader的路径解析、缓存、循环检测、方言检查与原生模块,并把每个导入模块降低、 编译到同一 VM 执行。每个模块有独立全局环境,闭包/类方法记住定义模块。 - 多变量
for:UNPACK将 Tuple/List 元素解包到连续槽,长度/类型错误 与解释器一致。 - 嵌套具名函数:嵌套
def降低为MAKE_CLOSURE+StoreLocal,先声明 局部函数槽以支持自递归;默认参数与闭包规则复用参数绑定切片。循环内创建 与 lambda 使用同一套 per-iteration cell。 - 参数绑定:
runtime/call_protocol.py共享绑定核心;HIR/Proto携带SignatureSpec,默认值编译为<default ...>proto(按闭包缓存), 字节码新增CALL_KW/CallSpec。关键字、位置/关键字限定、*args、**kwargs、&block与构造器/方法绑定均进入 VM;运行时 arity 表面移除。 oort-core:静态类槽(初始化表达式、构造前初始化、只读val槽)、 单态 ADT 与match(通配/绑定/嵌套构造器模式,arm 编译为独立函数)、break/continue(含break value)。examples/08_core全部可在-t vm下运行;matcharm 内return仍显式拒绝。- 当前范围:标量、List/Tuple/Set/Dict 字面量、内建容器下标与切片、属性读写、
函数/递归、lambda/闭包、动态/静态类与方法、元类/
super、扩展方法/运算符、 枚举/match、模块导入、分支、while/for(range/字符串/集合)、局部/全局。examples/与examples/08_core已全部可在-t vm下运行;-t eval仍是默认。 - 后续:补齐剩余显式拒绝项(调用侧展开、
matcharm 内控制流等)、完善 差分与错误路径测试、再切换默认后端;之后是寄存器复用/内联缓存/类型特化等优化。
未解决问题¶
- 动态/静态兼容的 typed IR/VM:
oort-core类型目前在 HIR/字节码前被擦除。 是否以及何时携带类型注解、未装箱值、静态槽布局与单态分派,留待动态子集和 默认后端稳定后设计。 - 是否需要
comptime共享同一 VM(见 OP 0005)? 暂不决定,等 VM 子集扩大后再评估。