柴绍的祖父柴烈曾是北周骠骑大将军，历任遂、梁二州刺史，封冠军县公。李渊的父亲李昞，北周时历官御史大夫、安州总管、柱国大将军，袭封唐国公。柴李两家早在李渊父亲那一代就关系不错，到了李渊这一代时，真正可以称得上是世交。
李渊与柴绍的父亲柴慎也颇有交情，也正是因为如此，所以早在柴绍与平阳公主还是小孩子时，两人就已经有了婚约，等到平阳公主到了及笄之年，她与柴绍就正式订亲，只不过当时窦皇后身体不好，不想女儿太早离开自己，所以两人才没有成亲，后来窦皇后去世，平阳公主要守孝三年，这下婚事也彻底的耽误下来。
一直到了平阳公主快十九岁时，守孝期满，只是当时天下大乱，李渊也没有嫁女的心思，不过后来他暗中准备造反的事发，为了打消朝廷的猜忌，这才打算让平阳公主与呆在长安的柴绍成婚，变相的将平阳公主做为人质送到大隋朝廷手中。
平阳公主事先并不知道父亲准备造反的事，更不知道送她去成亲的目的，毕竟她是个女子，哪怕再受李渊的宠爱，但李渊宁愿和小她一岁的李世民商量这些事，也绝不会和平阳公主说这些，所以平阳公主一直单纯的以为自己要成亲了，根本不知道她的婚事还牵制到这么多事。
不过对于李渊的打算，柴绍的父亲柴慎却早就看穿了，也知道李渊要造反的事，毕竟他是李渊多年的好友，对李渊再了解不过。就在平阳公主去长安之前，柴慎就独自一人来到太原见到李渊，两人密谈了一夜柴慎才离开。
柴慎来见李渊，主要就是来和他谈条件的，当时他也不看好大隋的处境，只不过他没有李渊那么大的野心和魄力，自己不敢造反，于是就想搭上李渊这辆战车。
对于自己儿子和平阳公主的婚事，柴慎向李渊表示他可以同意，但是这样一来，他们柴家也要背上一定的风险，甚至柴慎也要冒着失去一个儿子的危险，因为在李渊正式起兵之前，柴绍和平阳公主都要呆在长安，所以他以此向李渊提出条件，日后若是李家真得了天下，就必须要善待他们柴家，永世不得相负！
李渊当时一穷二白，自己心里都没有任何底气，所以对于柴慎的支持也十分感激，对于他提出的条件，更拍着胸脯保证自己永远不会忘记柴家的恩情，这才让柴慎终于心满意足的离开了太原。
“就在我们成亲那天，父亲举兵造反的消息也终于传到长安，当时我与柴绍正在拜堂，可是他父母却都没来，为此我还十分困惑，后来才知道他们是担心危险，所以柴家的所有人都提前离开了长安，只留下柴绍一人与我成亲。”
说到这里时，只见平阳公主顿了一下接着又道：“当时的情形我记得很清楚，拜堂还没有完成，那些接到消息的宾客就纷纷离开，生怕受到牵连，我连喜服都没来得及换下，就被马叔安排着逃离长安，随后大隋朝廷的追兵就追了上来，柴绍为了逃命，竟然丢下我们所有人独自逃了出去，刚开始时我甚至不敢相信这是真的，等到确信之后，我气的把喜服一把火烧掉，从哪时起，我就再也不认柴绍是我的丈夫！”
说到最后时，平阳公主如玉的面容上也难得的露出几分愤恨之色，不过随即就恢复了平静，她也早已经想清楚了，对于柴绍这种人实在不值得生气。
“柴绍这种人的确不值得公主生气！”李休这时也是有些恼火的开口道，这件事他之前听马爷讲过一次，但是现在听公主亲口讲出来，依然让他感到十分愤怒，这个柴绍的所做所为简直太不是东西了，为了逃命连自己的新婚妻子都可以丢下，难怪平阳公主无法原谅他！
“嗯，多谢李校尉的劝解！”平阳公主这时向李休点头致谢，随即继续道，“后来我再次见到父皇时，也曾经提过想与柴绍解除婚姻的事，只是父皇答应过要善待柴家，再加上柴绍在军中也立下一些功劳，所以一直劝我三思，后来更是希望我原谅柴绍，再加上之前我说过的一些次要原因，于就这件事就这么拖了下来！”
“陛下现在的态度是不是希望公主与柴绍复合？”李休这时再次开口问道。
“不错，虽然我不齿柴绍的为人，但他在军事方面还是有些才能的，这些年跟着二弟也没少立功，再加上平时又在父皇面前多次表现自己，所以父皇对他的态度也发生了转变。”平阳公主这时叹了口气道，当初如果她能坚持一下，也许李渊真的会解除他和柴绍的婚姻，可是现在时机已过，再想解除婚姻就比较麻烦了。
“那公主你呢，你是怎么想的？”李休这时目光有些逼人的盯着平阳公主问道。