(9) The Book on Hajj
كتاب الحج عن رسول الله صلى الله عليه وسلم
(45) Chapter: What has been Related About Entering The Ka'bah
(45) باب مَا جَاءَ فِي دُخُولِ الْكَعْبَةِ
Jami` at-Tirmidhi 873 
Aishah narrated:
"The Prophet left me while he had a joyous look of contentment and he returned to me grieving. So I asked him about that and he said: 'I entered the Ka'bah, and I wished that I had not done it. I fear that my Ummah will follow me (in that) after me.'"
حَدَّثَنَا ابْنُ أَبِي عُمَرَ، حَدَّثَنَا وَكِيعٌ، عَنْ إِسْمَاعِيلَ بْنِ عَبْدِ الْمَلِكِ، عَنِ ابْنِ أَبِي مُلَيْكَةَ، عَنْ عَائِشَةَ، قَالَتْ خَرَجَ النَّبِيُّ صلى الله عليه وسلم مِنْ عِنْدِي وَهُوَ قَرِيرُ الْعَيْنِ طَيِّبُ النَّفْسِ فَرَجَعَ إِلَىَّ وَهُوَ حَزِينٌ فَقُلْتُ لَهُ فَقَالَ ‏ "‏ إِنِّي دَخَلْتُ الْكَعْبَةَ وَوَدِدْتُ أَنِّي لَمْ أَكُنْ فَعَلْتُ إِنِّي أَخَافُ أَنْ أَكُونَ أَتْعَبْتُ أُمَّتِي مِنْ بَعْدِي ‏"‏ ‏.‏ قَالَ أَبُو عِيسَى هَذَا حَدِيثٌ حَسَنٌ صَحِيحٌ ‏.‏
Grade :  Da'if (Darussalam)
Reference : Jami` at-Tirmidhi 873
In-book reference : Book 9, Hadith 66
English translation : Vol. 2, Book 4, Hadith 873