在《源氏物语》中，光源氏与藤壶妃子的私情始于光源氏幼年时期。具体分析如下：

年龄与关系起点

源氏与藤壶妃子（即光源氏生母桐壶更衣）的年龄差仅五岁。源氏幼年时便对藤壶妃子产生孺慕之情，这种情感随着年龄增长逐渐演变为复杂的恋慕。

私情发展的关键节点

- 幼年时期：

源氏在桐壶帝的安排下与葵姬结婚后，因无法抑制对藤壶妃子的感情，开始秘密与她幽会。

- 明确关系：两人关系明确化的重要节点出现在藤壶妃子怀孕期间。光源氏在得知她怀有身孕后，于紫儿章中与她幽会并发生关系，此时藤壶妃子已怀有他们的儿子冷泉帝。

后续影响

该关系对光源氏的人生轨迹产生深远影响，包括他对藤壶妃子的持续思念、对紫上的感情纠葛，以及冷泉帝即位后的政治格局变化。

综上，光源氏与藤壶妃子的私情始于幼年时期，但明确关系和重要发展阶段出现在藤壶妃子怀孕并怀有冷泉帝时。