Tentei resolver aqui e minha questão deu foi uma equação do segundo grau, não tenho certeza se está correta, mas o resultado deu +-1.
Primeiro elevei tudo a 2:
A - 2VAB + B = 5 - 2V6
-2VAB = -2V6
A+B = 5
A = 5 - B
AB = 6
(5-B)B = 6
5B - B² - 6 = 0
B² - 5B + 6 = 0
B' = 3 B'' = 2
A' = 2
A'' = 3
A-B = 2 - 3 = -1
A-B = 3-2 = 1