田中です。
西村様　回答ありがとうございました。

申し訳ないのですが、教えていただいた現象とは、原因が違うようです。
トランザクションファイルは100MB程度ですし、
教えていただいたコードで圧縮をかけてからバックアップ、リストアを実行してもうまくいきませんでした。

あと、現象を補足すると、元々はリストアのみをするプログラムだったのですが、
もし、リストアに失敗した場合に復旧できるように現データベースのバックアップファイルをとり、
それから選択されたファイルよりリストアするようにプログラムを修正したのです。

すると、リストアのみをするプログラムだった頃はリストアができていたのに、
変更したプログラムを実行すると、バックアップもリストアもできなくなったのです。
不思議なことに、一度この現象が起きてしまうと、MSDEを再インストールしても
元のリストアのみをするプログラムを実行しても失敗してしまうのです。

いろいろ調べたのですが、検証に行き詰まってしまいました。

もしこの現象にお心当たりある方はご一報下さい。