マイペース、マイ・スタイル！　～日本語がぺらぺらになるには～

• The fireworks set off in the night sky at a ground of kindergarten nearby my house.
• --> The fireworks set off in the night sky on the grounds of a kindergarten near my house.

  'a kindergarten near my house' or 'a kindergarten nearby' ... not 'a kindergarten nearby my house'.

• nearbyとnearの違いは何ですか？

本当に微妙な違いですのであまり気にしなくていいと思いますが、一言で言うと

nearby  = この近くに
near = ～に近い・～に近いところに
みたいな感じです。

例：
I live nearby.　私はこの近くに住んでいる。
He lives near Mrs. Yamada.　彼は山田さんに近いところに住んでいる。
There is a convenience store nearby.　この近くにコンビニがある。
There is a supermarket near my house. 私の家に近いところにスーパーがある。
He lives near me. 彼は私に近いところに住んでいる。
He lives nearby.　彼はこの近くに住んでいる。
Kanagawa is near Tokyo. 神奈川（県）は東京に近い。

つまり、ただ「近いよー」って言いたい時はnearbyで大丈夫ですが、何かと比べる時はnearと書けばいいのです。

本当はより細かい違いとかもあるかもしれませんが、大体そういう感じだと思います。