by2的歌詞中並沒有"don't go away"的句子。
可能有以下歌曲歌詞與您想找的相關：
* 《Bye Bye Bye》：填詞的是林怡鳳，把對方比做一道光芒，需要我們去躲藏，這樣的填詞新穎有創意，歌曲旋律感強，很好聽。
* 《愛的魔力》：把前任比做逃跑的妖怪，歡快的節奏，讓人聽了心情愉悅。
而by2的代表作品有：《愛丫愛丫》、《這叫愛》、《有點甜》、《你並不懂我》、《不夠成熟》等。