跳转至

OP 0004: 字节码虚拟机(重新实现)

摘要

Oort 需要一个寄存器式字节码 VM 作为动态方言的高性能后端。早期实现已被移除; 本提案记录移除原因,以及在重新实现前必须满足的设计约束。

背景:为什么移除旧实现

旧实现在 src/oort_lang/bytecode/,约 2000 行,覆盖常量、部分算术与原生调用。 主要问题不是“完成度低”,而是会静默产生错误结果:

  • BytecodeGenerator 对未实现的 visitor 使用 ASTVisitor 的默认行为(遍历子节点), 于是 if 不生成跳转(then 分支总是执行)、while 只执行一次、 函数/类体在定义处被内联执行、def f 没有创建函数对象。
  • var 声明只生成初始化表达式,不存储;print(x) 因此报 x 未定义。
  • 一元运算的寄存器释放会回收仍在使用的临时寄存器;调用要求实参恰好相邻, 没有 MOVE 兜底。
  • 布尔/空值指令的格式与操作数约定不一致,会覆写 R0(例如把 print 函数覆盖掉)。
  • 属性/下标/upvalue 指令要么是 stub,要么读写不存在的 _obj_dict。
  • 行号表、异常表、upvalue 描述从未填充;错误定位全部落到首行。
  • 测试只覆盖数据结构(opcode 常量、常量池、反汇编器),没有任何“编码 → 执行”测试。

结论:在语义尚未稳定时,字节码后端把寄存器分配、闭包布局、异常表等工程复杂度 提前引入,并且因为缺少“未实现即报错”的约束,产生了比不实现更糟的结果。 因此删除整包与相关测试;设计文档保留,作为重新实现的参考。

重新实现的前置条件

  1. 显式失败:编译器对所有未实现节点必须抛错,禁止依赖 visitor 的默认穿透。
  2. 语义先稳定:if/for/while/函数/闭包/类、容器、切片、增强赋值在 树遍历解释器上都有测试并通过后再开始。
  3. 独立测试:先写“AST → 期望字节码”的快照测试,再写“字节码 → 结果”的端到端测试; 不允许只有数据结构测试。
  4. 统一对象模型:不得另建一套值/属性模型(旧实现的 _obj_dict 与解释器不兼容)。
  5. 元数据完整:行号表、局部变量名、upvalue 描述、异常表在第一个里程碑就要生成。
  6. 寄存器分配:明确“实参必须位于 func, func+1, ...”的不变量,并提供 MOVE 兜底;局部变量与临时寄存器的生命周期需有单测。
  7. 基准:先用 benchmark 证明树遍历解释器的瓶颈,再决定投入。

设计方向(沿用设计笔记 02)

  • 寄存器式(Lua 风格),定长 32 位指令;
  • 闭包使用 upvalue(打开/关闭 upvalue);
  • 动态模块使用带标签值,静态模块可生成未装箱代码;
  • 行号表与异常表一等公民;
  • 与 AST 解释器共享 Environment 与对象模型,不重复实现。

替代方案

  1. 继续使用树遍历解释器:实现最快,性能有限;当前阶段合理。
  2. 直接生成 Python 代码并缓存:开发快,但无法体现编译原理教学价值。
  3. 直接上 LLVM:需要类型信息与内存模型,过早。

实现进展(2026-11-21 第一切片)

  • HIR:src/oort_lang/hir/ 线性寄存器 HIR(常量、局部/全局、算术、跳转、 调用、返回、迭代器、函数定义),动态子集 lowering 与结构校验;未实现节点 在 lowering 阶段显式抛 UnsupportedSyntax。设计见 HIR 设计 13。
  • 字节码:src/oort_lang/bytecode/ 32 位 ABC/ABx/AsBx/Ax、常量池、 相对跳转回填、line_table、Proto、反汇编;-t bc 可查看。
  • VM:runtime/bytecode_vm.py 寄存器帧,复用 Environment/内建/类型/运算符/ 迭代器协议;-t vm 执行当前子集。Int 算术/比较/一元快速路径,其余回退 解释器语义;字面量每次求值重新包装以保持 is 的身份语义。
  • 约束落实:调用使用 scratch 区约定;ITER_NEXT 展开为两字; 未支持 opcode/构造显式报错,不做默认穿透。
  • 基准:当前机器、历史里程碑与跨语言参考统一记录在 benchmarks/RESULTS.md;早期第一切片与完整 子集的对比也在该文件的历史表中。实现进展不复制具体数字。
  • 闭包与函数值:lambda(显式参数与匿名 $0)降低为独立 proto; MAKE_CLOSURE 捕获定义帧,LOAD_OUTER/STORE_OUTER 读写外层局部。 VM 闭包可赋值、返回、放入集合、经下标/嵌套调用,也可传给 map 等原生 高阶助手。含闭包的函数使用局部 cell;循环每轮用 FRESH 替换循环变量与体内 局部 cell,因此迭代闭包持有自己的绑定,外层变量仍共享。
  • 类与方法:顶层动态类降低为 BUILD_CLASS;实例/类/运算符方法以 this 槽 0 降低并捕获定义帧,属性查找绑定为 OortVMMethod。支持单/多继承、 元类、__init__、__iter__、类方法(写入元类)、运算符方法(写入类型 运算符表)与 super(闭包记录 defining_type)。扩展方法/运算符降低为 REGISTER_EXT,注册到当前帧的扩展作用域;导入激活与扩展内 super 同样 生效。类体槽、嵌套类等仍拒绝。
  • 下标/属性与增强赋值:VM 的 GET_ITEM/SET_ITEM 复用解释器 get_item/set_item,用户 "[]"/"[]=" 与 on_missing 生效; 增强赋值降低为读-改-写(名字、属性、下标)。
  • 模块:顶层 import/from 降低为 IMPORT;VM 复用现有 ModuleLoader 的路径解析、缓存、循环检测、方言检查与原生模块,并把每个导入模块降低、 编译到同一 VM 执行。每个模块有独立全局环境,闭包/类方法记住定义模块。
  • 多变量 for:UNPACK 将 Tuple/List 元素解包到连续槽,长度/类型错误 与解释器一致。
  • 嵌套具名函数:嵌套 def 降低为 MAKE_CLOSURE + StoreLocal,先声明 局部函数槽以支持自递归;默认参数与闭包规则复用参数绑定切片。循环内创建 与 lambda 使用同一套 per-iteration cell。
  • 参数绑定:runtime/call_protocol.py 共享绑定核心;HIR/Proto 携带 SignatureSpec,默认值编译为 <default ...> proto(按闭包缓存), 字节码新增 CALL_KW/CallSpec。关键字、位置/关键字限定、*args、 **kwargs、&block 与构造器/方法绑定均进入 VM;运行时 arity 表面移除。
  • oort-core:静态类槽(初始化表达式、构造前初始化、只读 val 槽)、 单态 ADT 与 match(通配/绑定/嵌套构造器模式,arm 编译为独立函数)、 break/continue(含 break value)。examples/08_core 全部可在 -t vm 下运行;match arm 内 return 仍显式拒绝。
  • 当前范围:标量、List/Tuple/Set/Dict 字面量、内建容器下标与切片、属性读写、 函数/递归、lambda/闭包、动态/静态类与方法、元类/super、扩展方法/运算符、 枚举/match、模块导入、分支、while/for(range/字符串/集合)、局部/全局。 examples/ 与 examples/08_core 已全部可在 -t vm 下运行;-t eval 仍是默认。
  • 后续:补齐剩余显式拒绝项(调用侧展开、match arm 内控制流等)、完善 差分与错误路径测试、再切换默认后端;之后是寄存器复用/内联缓存/类型特化等优化。

未解决问题

  • 动态/静态兼容的 typed IR/VM:oort-core 类型目前在 HIR/字节码前被擦除。 是否以及何时携带类型注解、未装箱值、静态槽布局与单态分派,留待动态子集和 默认后端稳定后设计。
  • 是否需要 comptime 共享同一 VM(见 OP 0005)? 暂不决定,等 VM 子集扩大后再评估。