ALL Good FRIDAY

僕は23歳の時に結婚しました。ですが、24歳の時に同じ部署で働くことになった同期のことを好きになってしまいました。　
妻とは一緒に暮らし始めてから、生活スタイルに差が大きく、いつも僕が一方的に怒られていたので離婚を考えていました。そんな時に同期と一緒に働くことになり、大変な時を共有したり、価値観や話が合うことで次第に惹かれていきました。
しかし妻には離婚を受け入れてもらえず、不倫関係になることも自分としては違うと思ったので、同期とはあくまでも同期という関係のまま3年が経ち、私がこの4月に部署移動することになりました。部署が離れることで、多少諦めがつくだろうと思っていたのですが、そんなこともなく最近飲みに行き、楽しくて好きな気持ちが募ってしまいました。
今の気持ちとしては、異性として好きな気持ちがまだありながらも、離婚できない以上は同期や友人としてもっと仲良くなりたい、遊びに行ったり、旅行に行ったりしたいというのが本音です。でも同期の気持ちや距離感がイマイチわからず、飲みに行く以上のお誘いは、既婚者なので少し気が引けています。
同期は僕が仕事で落ち込んだ理、失敗した時は、飲みに誘ってくれていたことがあります。それ以外の時は誘われることも、連絡が来ることもありません。本人はシャイだからあまり自分からということが出来ないと話していましたが、どうしても少し不安で誘えません。
僕は、同期を旅行に誘ってもいいのでしょうか？そもそも結婚している身で異性と遊ぶことは、やっぱりいけないことなのでしょうか？やはり二人きりで飲みに行っていること自体、まずいことなのでしょうか？