HIR、字节码与寄存器 VM¶
本页是共享后端的规范性文档:描述 -t vm(执行)与 -t bc(反汇编)当前实际
接受与拒绝的行为。任何偏离都应被视为 bug。后端设计的长期目标见
design 02,当前实现参考见
design 13,重实现约束与决策见
OP 0004。
类型擦除边界:HIR 与字节码不携带任何 oort-core 静态类型。两个方言
(oort-object 动态、oort-core 静态)在语义分析后降低到同一份 HIR;静态类型
在降低前已被擦除,只影响检查期诊断,不影响后端指令。因此泛型、变型等类型系统特性
不改变本规范。面向未来的 typed IR/VM(未装箱值、静态槽布局、单态调用/去虚拟化)
不在本规范范围内,见 design 02。
核心原则(OP 0004):未实现的构造必须显式拒绝(抛 UnsupportedSyntax 或
对应诊断),禁止默认穿透、禁止静默产生错误结果。
执行与调试¶
| 目标 | 行为 |
|---|---|
-t vm |
寄存器 VM 执行。文件与 -c 的默认后端。 |
-t bc |
降低并编译到字节码,打印反汇编,不执行。 |
-t eval |
树遍历解释器执行。回退选项;REPL 仍用它。 |
-t ast / -t astm |
打印 AST / 带推断类型元数据的 AST,不执行。 |
-t hir |
降低到 HIR 并打印,不执行。诊断视图,文本格式不承诺稳定。 |
-t vm 与 -t eval 对同一合法程序必须产生相同的输出与返回值(差分一致性,
见下文);对非法程序的拒绝时机可能不同(见「显式拒绝」)。
编译流水线与 HIR¶
HIR 是 AST 与字节码之间的线性寄存器中间表示:指令显式使用虚拟寄存器,局部 变量、临时值与调用参数都在寄存器中;HIR 不承载方言策略,类、ADT、match 等必须先 降低或显式拒绝。每条指令携带源码位置。
HIR 指令集¶
| 指令 | 操作数 | 语义 |
|---|---|---|
LoadConst |
dst, value | 宿主常量装入寄存器 |
LoadLocal / StoreLocal |
dst, slot / slot, src | 本帧 slot 读写 |
LoadGlobal / StoreGlobal |
dst, name / name, src | 全局环境按名读写 |
Move |
dst, src | 寄存器搬运(也用于短路逻辑与 if 结果合并) |
LoadOuter / StoreOuter |
dst, depth, slot / depth, slot, src | 沿父帧链 depth 层读写外层 slot |
FreshLocals |
slots | 循环体顶部为指定 slot 换新 cell(每迭代绑定) |
BinOp / UnOp |
dst, op, lhs, rhs / dst, op, operand | 二元/一元运算,op 为源语言符号 |
Jump / JumpIfFalse / JumpIfTrue |
[src,] target | 跳转到符号标签(条件跳转按 truthiness) |
Label |
name | 符号标签(字节码层解析为相对偏移) |
DefineFunction |
name, function_index | 顶层函数定义并绑定全局名 |
MakeClosure |
dst, function_index | 捕获当前帧创建闭包(lambda/嵌套函数) |
Call |
dst, callee, args, keywords, block | 调用(位置/关键字/尾随 block 实参) |
Return |
src | 返回 |
BuildList / BuildTuple / BuildSet |
dst, elements | 构造集合 |
BuildDict |
dst, items | 构造字典(key/value 对) |
BuildSlice |
dst, start, stop, step | 构造切片(None 表示缺省) |
GetItem / SetItem |
dst, container, index / container, index, src | 下标读写 |
GetAttr / SetAttr |
dst, value, name / value, name, src | 属性读写 |
BuildClass |
dst, name, bases, methods, slots, class_methods, operators, metaclass | 构造类 |
BuildEnum |
dst, name, constructors | 构造 ADT(构造器名 + 元数) |
Match |
dst, scrutinee, arms | 模式匹配(arm body 已降低为函数) |
OpenIterator / IteratorNext |
dst, iterable / value_dst, iterator, done | 迭代器协议 |
Unpack |
source, base, count | 多循环变量解包到连续寄存器 |
ImportModule / ImportFrom |
module_path, alias / module_path, names | 导入 |
RegisterExtension |
receiver, name, function_index, symbol, operand_count | 注册扩展方法/运算符 |
SuperProxy |
dst, receiver | 构造 super 代理 |
逻辑 and/or 无专用指令,降低为 JumpIfFalse/JumpIfTrue + Move(短路求值)。
if/while/for 均为表达式,结果寄存器初值为 null;break value 降低为
Move result, value 后跳 break 标签。
作用域、寄存器与闭包¶
- 全局 vs 局部:模块顶层绑定为全局(
LoadGlobal/StoreGlobal);函数内声明为 局部 slot。命名查找顺序:本函数词法作用域 → 外层函数(LoadOuter/StoreOuter, depth 为帧链距离)→ 全局。 - 寄存器分配:单调递增、从不复用;上限 256(A/B/C 字段 8 位),超限抛
UnsupportedSyntax。local_count为局部寄存器水位线,scratch_base = local_count起为临时窗口。寄存器复用/类型特化属后续优化(design 02),当前不做。 - 不可变性:赋 immutable 绑定(函数/类/import/
val)在 lowering 期静态拒绝。 - 闭包模型:frame-capture(捕获帧)而非 upvalue 表。
VMFrame持有registers、parent、ext_env。_Cell是帧与闭包共享的可变绑定。 - cell 协议:函数体含
MakeClosure时proto.uses_cells = True,前local_count个寄存器为_Cell(scratch 区为裸值);LoadLocal/StoreLocal/Unpack/Fresh按此协议读写。LoadOuter/StoreOuter按目标是否为_Cell动态判定(兼容混合帧)。 - 每迭代绑定:循环体内新声明的 slot 在循环体首条指令前插入
FreshLocals,每次 迭代换新 cell,保证循环内创建的闭包不串迭代。for 循环变量不可变。 - MAKE_CLOSURE:
uses_cells时浅拷贝前local_count个寄存器槽为新帧 (cell 引用共享、scratch 区不捕获),否则直接捕获当前帧。 - 扩展环境三通道:闭包携带
env(模块全局值)与定义点ext_env(扩展); 含RegisterExtension的 proto 每帧新建<extensions>子环境。属性/下标/运算符 回退解析均用当前帧ext_env。
函数与调用约定¶
- 函数表:
HirModule/BytecodeModule含main与functions表,function_index索引此表。顶层函数、类方法、类级方法、运算符方法、slot 初始化器、 默认值表达式、match arm 都降低为独立函数。两遍 lowering:先预留函数索引,再降低 main 与各函数体。 - 调用窗口 ABI:HIR
Call的 callee/实参可为任意寄存器;字节码层窗口化——MOVE base←callee、MOVE base+1+i←arg_i(base = scratch_base),发CALL/CALL_KW,返回值覆写 base(callee)槽,再MOVE dst←base。关键字值续接base+1+nargs,block 再后一格。 - scratch 需求:
register_count = local_count + scratch,scratch 取各类窗口 需求最大值(调用1+nargs+nkw+block、迭代器 1、集合元素数、字典2*对数、切片 3、SET_ATTR2/GET_ATTR1、类 bases+metaclass、match 1)。超 256 拒绝。 - this 槽 0:方法
has_this=True,slot 0 为不可变this,参数从 slot 1 起且 必须连续。 - 参数绑定:
SignatureSpec/ParamSpec描述六类参数(位置限定/位置或关键字/ 关键字限定/*args/**kwargs/&block)与默认索引。绑定规则与解释器共享 (runtime/call_protocol.py),保证诊断一致。默认值调用时求值,可引用定义处 闭包与更早参数(每个默认表达式降低为独立 proto,params 为此前所有参数)。*args→Tuple、**kwargs→Dict、&block缺省 null。 - slot 初始化器:每个带初始化器的槽降低为无参 proto;构造实例时先逐槽求值,再
调
__init__,最后检查未初始化槽。 - match arm:每 arm 降低为函数,params 为模式绑定名(按模式树先序,全部不可变);
arm 内禁止
return。 - 隐式返回:main 与函数体末尾隐式
Return(最后表达式值,无则 null)。 - import 提升:main 中所有 import 先于其它语句发射;嵌套 import 拒绝。
字节码编码¶
32 位定长字:op = word >> 24(8 位),A = (word >> 16) & 0xFF(8 位)。
| 格式 | 字段 | 说明 |
|---|---|---|
| ABC | B=(word>>8)&0xFF, C=word&0xFF | 各 8 位 |
| ABx | Bx=word&0xFFFF | 16 位无符号(常量/函数索引) |
| AsBx | sBx∈[-0x8000,0x7FFF],偏置 Bx=sBx+0x8000 | 跳转偏移,相对下一条指令:pc_next = pc + 1 + sBx |
| Ax | Ax=word&0xFFFFFF | 24 位,仅 EXTEND |
操作码编号¶
| 组 | 编号 | 操作码 |
|---|---|---|
| 加载/存储/定义 | 1–7 | LOAD_K, LOAD_L, STORE_L, LOAD_G, STORE_G, DEF_FUN, MOVE |
| 二元 | 10–31 | ADD, SUB, MUL, DIV, FLOORDIV, MOD, POW, SHL, SHR, BAND, BOR, BXOR, EQ, NE, LT, LE, GT, GE, IN, NOT_IN, IS, IS_NOT |
| 一元 | 35–38 | POS, NEG, INVERT, NOT |
| 控制流/调用/迭代 | 40–47 | JUMP, JUMP_FALSE, JUMP_TRUE, CALL, RET, OPEN_ITER, ITER_NEXT, EXTEND |
| 复合 | 50–70 | NEW_LIST, NEW_TUPLE, NEW_SET, NEW_DICT, GET_ITEM, SET_ITEM, BUILD_SLICE, GET_ATTR, SET_ATTR, LOAD_OUTER, STORE_OUTER, MAKE_CLOSURE, BUILD_CLASS, IMPORT, BUILD_ENUM, MATCH, CALL_KW, UNPACK, FRESH, SUPER, REGISTER_EXT |
EXTEND=47(Ax)为保留扩展前缀,VM 中为 no-op。二元符号映射注意否定形式用
! 前缀(!in/!is,而非 not in)。
操作数字段语义(核心表)¶
| Op | A | B | C / Bx |
|---|---|---|---|
| LOAD_K | dst | — | Bx=常量索引 |
| LOAD_L / STORE_L | dst / slot | slot / src | 0 |
| LOAD_G / STORE_G | dst / src | — | Bx=名字常量 |
| DEF_FUN | 0 | — | Bx=函数索引 |
| MOVE | dst | src | 0 |
| 二元 | dst | lhs | C=rhs |
| 一元 | dst | operand | 0 |
| JUMP / JUMP_FALSE / JUMP_TRUE | 0 / src / src | — | sBx=相对偏移 |
| CALL | base | 0 | C=位置实参数;结果写回 base |
| CALL_KW | base | — | Bx=CallSpec;结果写回 base |
| RET | src | 0 | 0 |
| OPEN_ITER | dst | iterable | 0 |
| ITER_NEXT | value_dst | iterator | C=valid 标志寄存器;编码后紧跟 JUMP_FALSE valid→done |
| NEW_LIST/TUPLE/SET | dst | base(元素窗口) | C=元素数(≤255) |
| NEW_DICT | dst | base(key,val 交错) | C=对数 |
| BUILD_SLICE | dst | base | C=flags(bit0=start, bit1=stop, bit2=step) |
| GET_ATTR | base(receiver,原地覆写为结果) | — | Bx=属性名 |
| SET_ATTR | base(receiver) | — | Bx=名字;值在 base+1 |
| GET_ITEM / SET_ITEM | dst / container | container / index | C=index / src |
| LOAD_OUTER / STORE_OUTER | dst / depth | depth / slot | C=slot / src |
| MAKE_CLOSURE | dst | — | Bx=函数索引 |
| BUILD_CLASS | dst | — | Bx=ClassSpec;bases(+metaclass) 预 MOVE 到 scratch_base |
| BUILD_ENUM | dst | — | Bx=EnumSpec |
| MATCH | dst | — | Bx=MatchSpec;scrutinee 预 MOVE 到 scratch_base;逐 arm 匹配,守卫为真才调用 arm 函数 |
| IMPORT | 0 | — | Bx=ImportSpec |
| UNPACK | source | base(目标起始) | C=count |
| FRESH | 0 | — | Bx=slots 元组常量;仅 uses_cells 的 proto 发射 |
| SUPER | dst | receiver | 0 |
| REGISTER_EXT | receiver(类型寄存器) | — | Bx=ExtensionSpec |
常量池与描述符¶
常量池按 (type(value).__name__, repr(value)) 去重(区分 Bool 与 Int),上限
65536 项,溢出拒绝。描述符对象本身作为常量池成员:
Proto:name、params、register_count、code(32 位字)、constants、line_table 与 positions(与 code 逐字对齐)、scratch_base、has_this、signature、local_count、 uses_cells、defines_extensions。CallSpec:positional_count、keywords、has_block(实参值在寄存器窗口)。ClassSpec:name、base_count、methods、slots、class_methods、operators、 has_metaclass(bases/metaclass 运行时从 scratch 窗口读)。EnumSpec:name、constructors(名+元数)。MatchSpec/MatchArmSpec/PatternSpec:arms;pattern kind 为 wildcard/name/constructor/literal_int/literal_float/literal_string/ literal_bool/tuple/or(递归);literal kind 带值value,MatchArmSpec 带guard_index(守卫函数索引,None 表示无守卫)。守卫函数参数为 pattern 绑定, 返回 Bool;守卫为假时继续下一个 arm。ImportSpec:module_path、alias、names、is_from(一个 IMPORT 承载两种 import)。ExtensionSpec:name、function_index、symbol、operand_count、receiver_name。
跳转在编译期回填 sBx;超 sBx 范围、重复/缺失标签均拒绝。
反汇编(-t bc)¶
先 main 再各函数(前缀 [i]);头行 Proto <name> regs=<n> params=(...);每条
{pc:4d} <助记符> ; line <n>。助记符如 LOAD_K R0 K1(1)、CALL R5 nargs=2、
JUMP_FALSE R3 <绝对pc>、BUILD_CLASS R0 Name bases=1 ...。HIR 另有调试 dump
(hir/dump.py,保留符号标签),无独立 CLI 目标。
VM 语义¶
- 帧与闭包:
VMFrame(registers/parent/ext_env);OortVMClosure实现OortVMInvokable,携带 module/proto/捕获帧/env/定义点 ext_env/defining_type。 - 调用分发:全位置且参数全为「位置限定/位置或关键字、无默认」时走快路径(按
param.slot 直写寄存器);否则走与解释器共享的
bind_arguments。CALL对 OortType 走构造、对闭包走 invoke、其余回退interpreter.call_value。native 函数 拒收关键字实参。 - 类构造:新建实例 → 逐槽求值初始化器 → 无
__init__要求 0 实参,有则必须为 字节码闭包 → 检查未初始化槽。 - 运算符:Int×Int 走快路径(
/产 Float;除零抛OortRuntimeError);其余回退interpreter.apply_binary/apply_unary(支持运算符重载与扩展运算符,用帧 ext_env 解析)。 - 数值语义:Int/Int
/固定 Float;Int 常量每次LOAD_K新建对象(保持1 is 1为 false 的身份语义);bool 为单例。 - 迭代器:
OPEN_ITER调__iter__(须返回 callable);ITER_NEXT取(value, valid:Bool)二元组,value=None→null,valid 写标志寄存器。 - match:逐 arm 匹配模式(wildcard 恒真;name 绑定;constructor 校验 variant 与
payload 元数),命中后以绑定值为实参调 arm 闭包;全失配抛
OortRuntimeError("No match arm matched value ...")。 - 模块:每模块独立全局环境;
IMPORT经共享 ModuleLoader(路径解析、缓存、循环 检测、跨方言拒绝),两种形式都激活被导入模块的顶层扩展。 - 错误位置:运行期错误位置 = 当前 pc 的
positions[pc];调用绑定错误优先用调用 点位置,回退proto.positions[0],再回退<bytecode>1:0。
结构校验¶
validate_module 在 lowering 末尾校验(违反抛 ValueError):
local_count ∈ [0, 256];所有读写寄存器 ∈[0, local_count)。- 标签唯一,且所有跳转/
IteratorNext.done目标存在。 function_index/arm/method/slot 初始化器索引在module.functions范围内。FreshLocalsslot < local_count;LoadOuter/StoreOuterdepth≥1 且 slot<256。
显式拒绝¶
未实现构造显式拒绝,分三个时机。VM 在 lowering/编译期拒绝的构造,解释器可能在 运行期才拒绝——诊断措辞与时机存在已知差异(见 spec 06), 但都遵循「不静默错执行」。
lowering 期(UnsupportedSyntax,消息模板 "HIR backend does not support X.")¶
| 类别 | 示例 |
|---|---|
| 调用侧展开 | f(*args)、f(**kw) |
| match arm 内控制流 | arm 内 return/break/continue |
| 泛型 | 泛型函数/类/方法/lambda/扩展 |
| 嵌套构造 | 嵌套 import、嵌套 class、表达式位置嵌套 def |
| 声明 | 多目标声明、无初始化器声明、多目标 slot |
| 赋值 | 属性/元组赋值目标、赋 immutable 绑定、未知复合赋值运算符 |
| 类形式 | 命名空间/匿名类、class body 内扩展、类级运算符、特殊方法(除 __init__/__iter__) |
| 顶层形式 | 顶层扩展/class method/operator 方法、顶层 return |
| 其他 | ellipsis、方法外 super、class/enum 表达式、dict 解包、infix 调用、多个尾随 block、无变量 for、循环外 break/continue、寄存器超 256 |
字节码编译期(UnsupportedSyntax)¶
register_count>256、未知二元/一元符号、集合>255 元素、调用>255 位置实参、重复/缺失 标签、跳转超 sBx 范围、常量池溢出。
VM 运行期(防御错误,带位置)¶
常量池描述符类型校验(Invalid ... descriptor)、函数/方法/arm/扩展索引越界
(Invalid bytecode ... index)、闭包 depth 断链、未知 opcode;以及语义错误:Name
未定义、方法缺 receiver、base/metaclass 非类、扩展 receiver 非类型、扩展/构造器/
import 绑定重名、match 无匹配、模式元数不符、unpack 元数不符、除零等。
与解释器的差分一致性¶
规范行为由 tests/unit/backend/ 锚定:
test_hir.py:AST→HIR 降低快照 + 结构校验 + 参数化显式拒绝。test_bytecode.py:ABC/ABx/AsBx/Ax 编解码 round-trip、越界拒绝、常量池区分 Bool/Int、调用 scratch 约定、各 opcode、反汇编。test_vm.py:核心差分——同一源码分别-t eval与-t vm执行,断言 stdout 与返回值都相等;另有 VM 错误路径与模块/扩展/core 槽用例。test_hir_dump.py:HIR 文本 dump。test_vm_error_diff.py:错误差分,按严格度分级——strict(类型+消息+行号全同)/ text(类型+消息同,行号允许 VM 报外层表达式)/both_fail(VM lowering 期拒绝 vs 解释器运行期拒绝)/vm_rejects(解释器可跑但 VM 在子集边界拒绝)。
尚未实现¶
调用侧 */** 展开、match arm 内控制流、寄存器复用与类型特化、typed IR/VM
(未装箱值、静态槽布局、单态调用/去虚拟化)。这些属 design 02
的长期目标,不作为当前规范。