Tout dépend déjà du cultivar : ils n'ont pas tous la même résistance.
j'ai 7 oliviers en pot dont un depuis 11 ans.
Je les laisse le plus souvent et le plus longtemps possible dehors contre le mur de la maison ce qui a 2 avantages : les protéger un peu du vent et surtout de la pluie.
En effet l'olivier a horreur de l'humidité+froid, enfin surtout ses racines.

Ils ont supporté l'hiver dernier -10°c, en-dessous je n'ai jamais osé encore.

Tu peux donc laisser ton olivier dehors avec un voile d'hivernage et fait en sorte qu'il ne reçoive que peu ou pas la pluie.
Si la température descend en-dessous de -7°c, rentre le dans un endroit frais et ressort le dès que tu peux.
Le choc thermique lui fera certainement perdre des feuilles mais ça n'est pas dramatique.
est ce que tu lui donnes de l'engrais en été ?