存一片好心愿举世无灾无难
做百般善事要大家利民利人（楹联）
在胡雪岩所处的那个时代，杭州已是东南沿海地区的文化交流中心和物资集散中心，急流凶险的钱塘江也早已成为重要渡口。早期，钱塘江渡口的渡船分为官渡、私渡两类。无论人员过江，还是物资过江，官渡和私渡都实行付钱摆渡的制度，无钱休想过江。所以穷困旅客只能在江边望洋兴叹，即使有人悄悄混上渡船，然而一旦在江心被查出没有缴过钱，就会被船主抛出船外，丧生于波涛之中。
胡雪岩从小就在杭州商界打拼，常常耳闻目睹此种悲惨事件，所以，富裕之后，所办的一件大善事就是设立钱江义渡，让穷人、富人都免费过江。有关胡雪岩创办钱江义渡的时间，现在一致的说法是在1864年以后。当时，左宗棠攻下了被太平军占领的杭州城，胡雪岩时任左的军需官，发了巨财后，斥资办理钱江义渡。
但是，查阅清代笔记史料时发现，其实在太平军攻占杭州（1861年）前，钱塘江上就已经有了钱江义渡。那时，义渡的经费来自官员和商人的捐赠，担任钱江义渡主管之人就是胡雪岩。由此看来，胡雪岩在没有发巨财之前，就已经在着手办理钱江义渡的善事。左宗棠收复杭州之后，胡雪岩不过是恢复一度被中断的钱江义渡。自从有了钱江义渡，穷人过江的问题得到了解决，但是，由于钱塘江水流湍急，每遇风猛浪狂，木船往往有倾覆的危险，所以每遇大风、大浪或大雾的天气，渡船往往停开，交通为此中断。那时，胡雪岩在上海开有钱庄分号，所以上海是他经常去的地方。