波音飞机失事：机器权限不能超越人类控制

波音飞机失事暴露智能软件设计缺陷

机器权限不能超越人类控制

顾静超 刘海波

当地时间3月10日上午，一架从埃塞俄比亚飞往肯尼亚的飞机坠毁，机组人员及乘客共157人全部遇难。失事飞机为波音“737MAX-8”型客机，这已是该型飞机继印尼狮航2018年10月29日坠毁事故后，在5个月内的第2次失事。

初步分析，事故缘于空速管对飞机飞行状态探测错误，机载“防失速系统”(MCAS)自动控制飞机完成了俯冲，暴露出智能化软件设计存在的缺陷。

未来智能化作战中，人类会赋予作战系统一定权限，允许智能化系统在特定作战背景、作战条件下，满足规定的范围、条件或规则即可自主决策，实施机动、攻击、防护等战斗行动。但是波音“737MAX-8”事故警示我们，无论计算机系统的智能决策系统如何先进，它的权限赋值应该始终低于人。

首先，建立人机互信，要增强智能化系统对操作人员通过脑波意识、语音指令、手动操作等多途径传达的意图的理解，使得机器与人类形成目标的相同认知，在此基础上才能赋予智能化作战的相关赋权。其次，允许行动终止。一旦出现人与机器的冲突，或智能系统之间的相互冲突，必须允许人能及时进行干预、纠正或终止智能系统的行动。最后，突出人的最高赋权。系统逻辑中，如果多个智能系统相互冲突，必须将对人的信任度置于最顶层，必须交由人而非单个系统裁决冲突、解决矛盾；如果人与智能系统发生冲突，智能系统必须无条件服从人发出的指令。这样，才能保证智能化系统的可信、可靠、可用，避免悲剧的发生。