空气能热泵热水器的结构示意图如图２所示，主要由压缩机、蒸发器、冷凝器、节流装置、保温水箱、水泵等组成。
压缩机是热泵热水器的心脏，其功能和工作原理与蒸汽压缩式制冷装置的压缩机相同，但是，由于热泵压缩机一年四季都要使用，工作时间长，工作环境温度、湿度和浮尘情况变化极大，冷凝温度高、冬季环境温度低，热泵冷热端的工作温差大，运行条件恶劣，所以热泵热水器对压缩机有更高的要求。

蒸发器是直接完成从空气中吸取热量的器件，空气能热水器的蒸发器全部采用管翅式结构。
制冷剂从节流装置里喷出后温度是非常低的（低于常温），经过蒸发器的时候制冷剂通过铜管和翅片吸收空气中的热量，带着这些吸收来的热量，制冷剂又进入压缩机进行下一次的循环。
冷凝器把压缩机排出的高温高压制冷剂蒸气，通过散热冷凝为液体制冷剂，制冷剂从蒸发器中吸收的热量，被冷凝器周围的介质（大气）所吸收。冷凝器主要分为三大类：对全部容积的水直接进行加热的容积式冷凝器；对全部的水起循环加热的循环加热式冷凝器；一次性将水的温度加热到设定温度，再输送至保温水箱的直热式冷凝器（配装定温出水阀）。
节流装置在换热过程中起到很大的作用，常温高压的换热介质流过节流阀时，会变成低温低压的介质，从而就可以向外界环境进行换热；节流装置还起着调节制冷剂流量，建立系统高低压力差的重要作用；节流装置还具有控制蒸发器出口冷媒过热的功能，以及控制蒸发器液位，这样可以保持蒸发器换热面积得到充分地利用，同时还能防止吸气带损害压缩机。节流装置的结构可以极其简单，如毛细管，也可以相对复杂，如热力膨胀阀、电子膨胀阀和膨胀机。
与电热水器一样，当热泵无法满足即开即热的使用要求时，就必须采用储热的保温水箱来存储预制的热水。水箱的作用就是储存热水，接上水管后先注满水，启动主机后氟利昂制冷剂经过水箱冷凝放热，将热量转移给水，水逐渐被加热。
水泵按功能的不同分为循环加热水泵、回水泵和供水泵。它们作用各不相同：循环加热水泵对保温水箱内的水起循环加热的作用；回水泵起维持热水管网温度的作用；供水泵起输送热水至使用端口并维持一定压力的作用。为避免供水泵过于频繁启动，可以在系统中配置压力罐或采用变频水泵。