Il faut effectivement passer ta box en mode routeur.
Pour prendre la main dessus, je dirai qu'il faut que tu le tentes quand tu as un PC qui est effectivement connecté au net. Là tu regardes quelle est sa passerelle par défaut, et tu te connectes dessus par HTTP (sinon j'imagine que dans le guide de la box ça doit être expliqué, bref RTFM quoi
).
Une fois connectée tu lui dis d'être en routeur, tu actives ou non le dhcp comme tu veux, et surtout tu récupères son adresse IP interne (du genre 192.168.0.X ou 192.168.1.X). Cette adresse sera l'adresse de la passerelle par défaut de tes PC clients (et surement aussi l'adresse de leur serveur DNS).
Il te faut ensuite sur les PC les configurer pour qu'ils soient sur le meme réseau (donc meme type d'IP/masque), avec des IP différentes bien sur. Un petit ping sur coldwire.net sur chaque machine, si ça passe c'est bon ! (si ça ne passe pas et que ça ne résoud pas l'IP c'est un problème de DNS).
Concernant le switch, il ne faut pas le mettre en uplink, enfin ça ne te sert à rien. Ca permet normalement de configurer un des ports du switch pour qu'il soit cascadé avec un autre switch par un cable droit, bref inutile pour toi. Donc tu branches tes 3 équipements sur le switch avec des cables classiques, puis tu les mets en Ip fixes ou en dhcp selon comment tu as configuré ta box.