到底要不要扣工厂的这点钱？？好纠结~~

说说整个事情的经过，希望大家能给我支个招。
年前接了一个小单，总价不过4W人民币的自行车。找了一个天津的工厂去生产，因为样品是这个工厂打的，所以我们单子就交给了他们。在下订单之前，老板让去验厂，这会工厂的人就说，验厂干什么啊，拍几张图片给我们就好了，我们公司在上海，去天津也比较远，考虑了一下成本，也就作罢了，相信工厂是不会欺骗我们的，等临近发货的时候我去天津验货了，到了这个工厂我才发现我好天真~~一个大棚子，就是这个工厂的生产车间，地上丢的都是乱七八糟的烟头。老板办公室竟然是简易房。我当时心里就开始打鼓了，这样的情况，真是始料未及啊。

之后就开始按照一系列的要求，验货之后发现车子有磕碰掉了漆。然后工厂就开始补了，补完以后算是能过得去，发了老板看，老板说就先那样出。车子出了有点磕碰掉漆之外，其他的东西都很好，客人非常满意。于是年前出货了，出货期间出了很多问题，我就像打怪升级一样，一直打下去，终于顺利出货了。

现在到了付尾款的时候了，我们老板说要扣工厂一部分货款，也不多就5000块人民币，这个款在5月份的时候就会安排给天津的工厂，老板昨天跟我说了原因，我觉得他说的对，但是现在我又开始纠结了。

老板说的原因如下：
工厂跟我们公司对接的是一个技术兼业务，这个人马上就要离职了。如果他离职了，客人万一出现售后问题，他们工厂肯定会推诿这件事。这样我们就会像皮球一样被人踢来踢去，最后客人也会不再相信我们，扣款是为了让工厂能够更好的解决售后的问题。另外一个原因就是感觉这个工厂可能不会有这个服务能力，因为这个工厂之前也说了，其实就是一个小作坊，虽然在他们技术的努力下，作坊做的货还是不错的，但是如果让他们售后他们估计会有困难。

其实说白了，老板就是不相信天津这个工厂能够负责任的解决问题。我们公司跟浙江和江苏的工厂做生意，从来没有过这种问题，甚至小一点的单子我们都会先付全款，然后等工厂给我们发货。到底是怎样啊？？

我觉得老板这样做，挺对不起这个技术的。因为这个技术在货物的生产过程中，以及后来出货的时候都帮了忙，反正就是私交很好的那种。

该怎么办呢？好希望大家能给我出个主意，我应该怎么跟他们说？？谢谢大家