情况并不是你说的那样，当主语是第一或第二人称时，have gone to 可以表示“到过某地（现已回来）”的意义。费致德《现代英语惯用法词典》（P.426）就有如下说明：

Have you ever gone (或been) to New York? 用于问人是否去过，是否有此经历。在口语里，答语常用的形式如下：

Yes, I have (gone there). I went last year.

I have already gone there.

I have gone there twice.

No, I have never been (gone) there.

附带说明一下：

have been to 表“去过某地”；have been in / at 既可表“曾在某地呆过”，也可表“一直在某地”。不带持续性时间状语是“已完成用法”，带持续性时间状语是“未完成用法”。例如：Is your sister familiar with Wuhan? 你比较一下三个不同的答语：

① Yes, she has been there (many times). 是的，她去过那儿（很多次）。已完成用法。可带或不带频度状语 many times（这种状语不同于持续性时间状语），表示“现在已不在武汉”，there = to Wuhan。

② Yes, she has been there. 是的，她在那儿呆过 / 住过。已完成用法。没有带持续性时间状语，表示“现在已不在武汉”，there = in Wuhan。

③ Yes, she has been there for three years. 是的，她在那儿已经住了三年了。未完成用法。带有持续性时间状语，表示“现在还在武汉”，there = in Wuhan。