ニコはNYに移住後、シンガーのレナード・コーエンやローリング・ストーンズのブライアン・ジョーンズらと浮名を流すが、それはあくまで“女王様”や“ファースト・レディ”でいるためであって、恋愛感情のような温かみのあるものはすぐに消えていった。しかしフェイムの追及に本格的に身をやつすのはこのあとの1965年、あの悪名高きアンディ・ウォーホルと出会ってからのこと。
　
アンディとはパリで出会い、彼らがつるんでいたスタジオ＝“ファクトリー”入りを果たすと、彼はニコを取り巻き連中のリーダー的存在だったルー・リードとくっつける。これがかの有名なバンド「ヴェルヴェット・アンダーグラウンド・アンド・ニコ」の誕生だ。すると、ニコは酒とドラッグとセックスにまみれたファクトリーに息子のアリを連れ込むように……。この頃、母がお得意のタンバリンを叩きながら踊りまくる横で、その姿を虚ろな目で眺めるアリの姿がたびたび目撃されている。こうしてアリはわずか４、５歳で母と一緒に麻薬中毒の道を歩み始めた。それ以前にもファクトリーに出入りしていたアーティストたちが散らかしていったアルコールやアンフェタミンは摂取していたとも言われている。

アラン・ドロンの母で、アリにとって2歳のときからの育ての親であるエディット・ブーローニュはニコの伝記的映画『Nico Icon』（1995）で涙ながらにこう証言している。「ニコはアリをいろんなところに連れ回していました。食べさせるものといえばポテトチップスばかり」。あまりの無秩序ぶりにエディットにアリを預かってくれるよう依頼したのは、ニコの母だったという。エディットは孫を引き取りたいとアラン・ドロンに伝えると、認知を頑なに拒否していた彼は激高し、エディットに「俺をとるか息子を取るかどっちだ」と迫ったという。幸いなことにエディットは息子と縁を切ることを選び、アリを養子として迎えた。つまりアリは父ドロンの弟となったのだ。

エディットはこんな思い出も語っている。「ニコには小包で手紙や写真を送っていましたが、戻ってきてしまいました。一度会いにアメリカからやってきたら、その後3年はぱったりと音信不通。そのときニコが息子にもってきたお土産はなんだと思います？　オレンジひとつでした」。

アリ・ブーローニュは母不在で育つ。ニコの伝記映画のなかで、美しいけれど、麻薬中毒者特有の狭まった瞳孔をもった彼が映っている。とてもふつうの教育を受けているようには見えない姿……。ボヘミアンのように揺蕩うニコはいつも息子のそばにはいなかった。それでもアリは母ニコに強い繋がりを求めていた。アリがのちに語った言葉は痛々しい。「僕はぺフゲン家の人間だ。アーティストなんだ。ブーローニュ家の人間では絶対にない」。母の姓を名乗りたい。その切なる願いは、その後彼を取り上げた多くの映像で自身のクレジットを「アリ・ぺフゲン」と表記させたほどだった。
　
ニコはクスリから手を洗おうとしていたが、そのせいでヘロイン中毒症状が幻覚を引き起こすようになった。「母は祖母のことを『子ども泥棒！』と罵っていたよ」。子ども時代のアリはそんな日常を生きていた。

崩壊した地獄のような生活のなかで、あるとき光明が差す。ニコが主演する7本を含むアングラ映画を多く監督していたフィリップ・ガレル（俳優ルイ・ガレルの父）が、父親のように接してくれたのだ。「僕にすべてを教えてくれたのはフィリップ。幼少期に僕を本当の意味で愛を与えてくれたのは彼だけだよ」。このときガレルが目撃したことは映画『L’Enfant secret（原題）』で描かれている。