内・外国人の別荘は、軽井沢宿のまわりにつぎつぎに建てられ、明治39年（1906）には18戸増えて113戸となり、それ以後年々20戸ほどの別荘が増加（うち日本人は2～3戸）したので、軽井沢周辺は大きく変貌していった。そこで軽井沢郵便局では東・西・南・北に分けて別荘番号を付けて郵便物の配達が容易に正しく行われるようにした。 佐藤孝一著「かるゐざわ」によると明治末の別荘分布の概要はつぎのごとくであった（明治の頃の文章をもとにして）。
＜東区＞(East Part)宿の東、中山道より南、諏訪道より東の山麓に開けた草野一帯で、展望の開けたところである。森裏、釜の沢、桜の沢、丸小山、今道沢に別荘があり、21年（1888)5月にあ建てられたショー氏の別荘は大塚山の頂上にあって、浅間山の眺めが素晴らしかったといわれている（現在大塚山頂には建物はない）。
また、泉源亭は31年、子爵末松謙澄が建てた別荘で、川越石川に臨み、山中の清水の流れを邸内に引き入れている（現東海銀行寮）。桜の沢には35年に宿場の通りにあった万平ホテルが移転した。2万坪の広大な敷地に洋室22をもつ洋風建築であった。
＜北区＞(North Part)碓氷旧道の北から、草津新道の東、宿の北部一帯をさし、一ノ字山、愛宕山中腹と麓にあたる。当時の愛宕山には大きな木がなく眺望のよい別荘地であった。高瀬沢、愛宕道、吉ヶ沢に別荘が点在していた。とくに英国大使館別荘は、二手橋の東にあり、5万坪の敷地にはモミの大木がしげり、自然を生かした深い森の中にあった。愛宕山の西南には三井家の別荘があり、庭の西隅に日本女子大学の夏期寮「三泉寮」が建てられていた。
宿の東端にはつるや旅館があり、その裏には「水車小屋の三軒別荘」といわれた外国人による新築別荘が並んでいた。
＜西区＞(West Part)草津新道の西、旧中山道の北の平坦地で、長尾の原、西山、深山から離山、さらには北へのびて三笠と呼ばれる地域にあたる。江木衷、新渡戸稲造、二条公爵、川田龍吉、鹿島岩蔵などの日本人別荘が多く、ほかの3地区に比べると新しい地域といえる。
北にはなれて、明治38年(1905)に落成した木骨様式の三笠ホテルが人々の目を引いていた。また、離山の東山麓で雲場池近くにも4軒ほどの外人別荘があり、長尾の原一帯は広々とした草野原であった。
＜南区＞（South Part)町の南部一帯の草野で東は矢ヶ崎より西の地域で、森前、上森、下森、森裏、押出橋の別荘地をさす。平坦の広い原であるが別荘は宿に近い地域に建てられていた。日本人で初めて別荘を建てた八田裕二郎、佐々木政吉などの別荘があった。
＜離山＞軽井沢の西離山の麓に雨宮邸、鉄道線路の南の林の安価に桂太郎の別荘があった。
＜追分＞追分宿の南に鉄道院の野村龍太郎、坪井清次郎の別荘があった。
