preload
1月 13

遅ればせながら jeweler から bundler への移行をちゃんと経験しておくべく、何やらこしらえてみました。といっても、$ bundle gem <ライブラリ名> としてスケルトンを作ったら、あとは gemspec をごにょごにょ書くだけだったので、さして難しくはなかったのですが。

今回公開した SwfRuby (swf_ruby) は、SWFバイナリを解析したり、内部に含まれる画像などのリソースを置換したりするための Ruby ライブラリ(およびコマンドラインツール)です。ruby-1.8.7 と ruby-1.9.2 で動作確認をおこなっています。こちらのライブラリは、GPL2(the GNU GENERAL PUBLIC LICENSE Version 2)にて使用を許諾します。

swf_ruby | RubyGems.org | your community gem host

tmtysk/swf_ruby – GitHub

SwfRuby のメイン機能を司るクラスは2つあります。SWF に含まれるタグ群やタグの登場箇所(オフセット値)をダンプする SwfDumper と、SWF に含まれるリソースを置換する SwfTamperer です。

昨年は携帯向けソーシャルアプリのブームもあり、サーバサイドでの Flash(SWF) 操作のニーズが高かったように思います。このサイトでは、2009年4月ごろから、swfmill を使った SWF の解析方法や、swfmill の Ruby ラッパーである SwfmillRuby を紹介してきました。しかしながら、莫大なアクセス負荷のかかるソーシャルアプリサイトですから、こちらで紹介してきたやり方では機能要件は満たせども、swfmill の起動コストや XML の操作コストに頭を悩ませた開発者の方も多かったのではないでしょうか。

SwfRuby は冒頭で述べた通り、swfmill などの中間ソフトウェアを一切介在させず、SWF バイナリを直接操作するライブラリです。現時点では荒削りなのでお世辞にも使い易い状態とは言えませんが、SWF の仕組みを大体理解している人にとっては、それなりに便利に使える部分があると考えています。(SWF のバイナリ編集については、グリーエンジニアブログでの連載がとても丁寧に解説されているので、そちらを参考にすると良いでしょう。)

以下、簡単に使い方を紹介します。

SWF のバイナリを直接操作するに当たって、まず調べないといけないのは「置換対象のリソースがSWF中のどこ(オフセット位置)に含まれているか」です。SwfDumper を使った解析プログラムを書くのも良いですが、swf_ruby をインストール( $ gem install swf_ruby )すると、SwfDumper を使ったコマンドラインツール swf_dump が使えるようになりますので、今回はそちらのツールを使った方法を紹介します。swf_dump の引数として SWF ファイルパスを指定してください。

$ swf_dump samples/sample.swf
SetBackgroundColor, offset: 20, length: 5
DefineFont2, offset: 25, length: 34
DefineEditText, offset: 59, length: 50
PlaceObject2, offset: 109, length: 11
DefineBitsLossless2, offset: 120, length: 178
DefineShape, offset: 298, length: 55
:
DefineBitsJPEG2, offset: 623, length: 10986
:

このような形で、SWF 内部のタグ一覧と、個々のタグの登場位置/長さを得ることができます。ちなみに、タグ情報は最新の SWF 仕様書を取り込んでありますので、Flash Lite の SWF に限らず、(たぶん)どんな SWF を指定しても、こういったダンプ情報を得ることができます。

さて、上記のダンプ情報により、DefineBitsJPEG2 タグがオフセット位置 623 バイト目から始まることがわかりました。つまり 623 バイト目以降にある JPEG バイト列と関連する情報をよしなに書き換えてやれば、この JPEG を差し替えることができるということになります。SwfTamperer は、この「よしなに書き換える」操作を支援するクラスです。swf_ruby をインストールすると、SwfTamperer を使ったコマンドラインツール swf_jpeg_replace が使えるようになりますので、ここでは、その使い方を紹介します。swf_jpeg_replace の引数として、SWF ファイルパス、書き換えを行う JPEG のオフセット位置(swf_dumpで取得可能)、書き換え後の JPEG ファイルパスを指定してください。

$ swf_jpeg_replace samples/sample.swf 623 samples/bg.jpg > samples/sample2.swf

書き換え後の SWF は標準出力へ出力されますが、ここでは、ファイルへリダイレクトをおこなっています。

最後に、拙作 SwfmillRuby と SwfRuby とで、SWF 読み込み → SWF 中の JPEG 1 ファイルを置換 → ファイル書き出しする際の簡単な速度比較をおこないましたので、ご参考までに紹介します。それぞれのプログラムを手元の PC のターミナルから100回連続実行(つまり100件のSWFを合成)した際の処理時間は以下のとおりでした。比較に使用した Ruby バージョンは 1.8.7 です。

  • SwfmillRuby .. 11.697s
  • SwfRuby .. 5.301s

SwfRuby は SwfmillRuby の約半分といったところでしょうか。減少分は swfmill の起動や libxml による xml 処理、RMagick による画像処理のオーバーヘッド分かと考えられます(期待値的には、もうちょっと(桁ひとつくらいは)速くなって欲しかったところですが、SwfRuby 側にまだまだ改善の余地があるのかもしれません)。

以上、SwfRuby の概要とコマンドラインツールの簡単な使い方を紹介しました。SwfTamperer は現時点では JPEG と ActionScript 内変数の書き換え機能しか提供しておりませんが、これに DefineEditText や DefineBitsLossless 系の書き換え機能が付けば、それなりに有用なものになると思います。また、ご興味の方には、コマンドラインツールだけでなく、SwfDumper や SwfTamperer クラス群をうまいこと使ってみていただいても良いかも知れません。SwfmillRuby ともども、フィードバック、pull request は大歓迎ですので、ぜひともご意見ご感想などお聞かせいただけると嬉しいです!

Tagged with:
7月 27

SwfmillRubyで32bit版PNGに暫定対応しました

Ruby コメントは受け付けていません。

先日、SwfmillRuby に hokaccha さんのブランチをマージしました。hokaccha さんのブランチでは、32bit png の image2xml に対応いただいておりましたが、これに xml2image の処理を追加実装しています。これにより、32bit png (DefineBitsLossless2 の image format=5) に暫定対応しました。

ただし、今回追加実装した xml2image は、透過色を含む PNG の扱いについて完全ではないので、あくまで暫定対応という位置づけです。32bit png を SWF 内部のビットマップに変換する際に RMagick(ImageMagick) を経由して得られる各ピクセルの情報と、Flash IDE がパブリッシュするビットマップの各ピクセルの情報とで、微妙に誤差が出てしまっており、現時点で、Flash IDE が出力するビットマップデータと完全に一致させる事ができていません。

具体的には、DefineBitsLossless2 の ARGB データから RMagick::Image の png イメージを作成する部分が怪しい感じです。確証はないのですが、どうも、SWF File Format Specification にある:

The RGB data must already be multiplied by the alpha channel value.

の “multiplied” の解釈が単なる乗算ではないみたいような気がしています(除算で逆変換しても適当な数値にならないのです)。今のところ、幾つか透過色を含む PNG で動作検証してみた限りでは、ここを逆変換する際に、RGB それぞれの値と opacity との OR を取る事で、元のイメージの再現性がある程度確認できたので、ひとまずこの方法で実装してみました。何か勘違いしている気がしないでもないのですが、、お気づきの方、コメントいただけると幸いです。

ちなみに、上記の更新以外でも、partialize や templatize の機能を追加し、partizlize や templatize において、SWF を再生成(regenerate)する際の XML 処理コストを少しでも削減するための事前処理をおこなえるように改修を続けています。これは、ちょっと複雑な SWF の動的生成/書き換え/合成をしようとすると、再生成に XML 中の ID 体系を付け替えたり、要素を入れ替えたりといった処理のコストがとても大きくなる事がわかってきたからです。詳しくドキュメントを書く時間が取れていないのですが、サンプルやソースコードコメントから意図を汲んでいただけると幸いです。(少なくとも FlashLite 1.1 の携帯サイト向けには、わりと面白い事ができるくらいのものにはなってきていると思います。)

まだ公開して間もない SwfmillRuby ですが、いつの間にか、いくつかの方面からご利用のご連絡をいただいており、とても励みになっております。ライセンス上、ご利用のご連絡は必須ではありませんが、よろしければご利用コメントやご意見などお寄せいただければとうれしいです!

Tagged with:
5月 28


2009/06/04追記: こちらのサンプルコードは、その後のバージョンアップにより動作しないものが含まれています。大きな変更点としては「テンプレート」と言葉の用法を変更し、これまで「テンプレート」と呼んでいたものを「パーツ」と呼ぶようにしています。詳細は配布ファイルに含まれるテストコードもしくは別エントリ(そのうち書くかも)をご参照ください。

先日こちらで紹介した SwfmillRuby をバージョンアップして、いろいろ便利機能を追加してみました。機能追加以前に、SWF 内のタグの対応数が絶対的に少ないのですが、基本的に SwfmillRuby が対象にしているのは FlashLite 1.1 でパブリッシュされた SWF なので、この用途に限れば、そこそこ使えるものになってきたと思います。ライセンスに変更はありません(GPL2)。無保証です。

今回追加された機能は、大きく次の3点です。

  • ムービークリップの検出と入れ替えに対応
  • 入れ替えのための事前処理として、ムービークリップをテンプレート化しておけるようにした
  • XML Parser を rexml から libxml2 に変更

上記のほか、SwfmillUtil::Swf 初期化の方法が変更されていたり、SwfmillUtil::DefineSprite というクラスが追加されていたりといった、こまごまとした修正が入っています。が、できるだけ外側からは、xml 使って云々とか、SWF のタグがほげほげということは意識しなくても良いように作っているつもりです(といっても、まだまだうまい書き方できそうなところは多いですけど)。

では、使い方は、アーカイブ中の sample を見ていただくとして、以下、それぞれ、日本語で解説していきます。

ムービークリップの検出と入れ替えに対応

Swf#movieclips により、SWF 内のムービークリップのリストが取得できるようになりました。SWF 内部で採番されているID => SwfmillUtil::DefineSprite のハッシュの配列が返ります。

これを使って、以下のような形で片方の SWF のムービークリップを、もう片方の SWF のムービークリップと差し替える、というようなことができます。

require '../lib/swfmill_util'
require 'pp'

################################################################################
# test to replace movieclip

# initialize
swf = SwfmillUtil::Swf.parseSwf(File.open("data/sample_original.swf").read)
swf2 = SwfmillUtil::Swf.parseSwf(File.open("data/sample_original2.swf").read)

# check included movieclips (object_id => SwfmillUtil::Swf::DefineSprite)
pp swf.movieclips.keys #=> ["8", "5"]
pp swf2.movieclips.keys #=> ["6", "3"]

# check included movieclip_ids by instance_name
pp swf.movieclip_ids_named("animation") #=> ["5"]
pp swf2.movieclip_ids_named("animation") #=> ["6"]

# replace movieclip
swf.movieclips["5"] = swf2.movieclips["6"]

# write swf replaced movieclip
swf.write("data/replaced_mc.swf")

上の例では、まず、Swf#movieclips により、ふたつの SWF に含まれるムービークリップの ID 体系を確認しています。ムービークリップの ID を確認する際は、実用上は、そのうしろの行にあるような、Swf#movieclip_ids_named が便利かもしれません。これにより、ステージ上に置かれる際に付与されたインスタンス名を指定し、対象のムービークリップの ID が確認できます。

実際の入れ替えは、上のように、ハッシュを操作するような形式でおこなえます。ムービークリップは、内部で各種形状(シェイプ)や画像(ビットマップ)、テキスト情報などを参照していますが、入れ替え自体は、上のようなハッシュへの代入操作一発で、参照関係にあるリソースを丸ごと入れ替える事ができます。また、このとき、単純に上書きしてしまうと、内部で使用している ID が重複してしまうなど、ID 体系が狂ってしまうことになるので、Swf#write (のなかで呼ばれる Swf#regenerate) したタイミングで、よしなに ID の体系を調整(adjust)する処理が走るようになっています。

入れ替えのための事前処理として、ムービークリップをテンプレートパーツ化しておけるようにした

これは、FlashLite コンテンツの動的生成サイトを作ろうとした際、実用上必要になる事が多いので、ちょっと強引に作ってみた機能です。実際に、前節のようにムービークリップの入れ替えをおこなうと、内部的には SWF を XML に戻し、XML を書き換えて、XML を SWF に戻す、ということをやることになるため、Swfmill プロセスの起動コストがかさんでしまいます。また、ムービークリップの入れ替えでは、関連するリソースも一気に処理対象になるため、前節最後で書いたような、入れ替え後におこなう ID 体系の調整コストも無視できなくなってきてしまいます。

そこで、あらかじめ、入れ替え対象となる(元の) SWF と、そこに差し込むムービークリップをあらかじめ調査しておき、差し込みをおこなうムービークリップをテンプレートパーツ化しておくことを考えてみました。

以下は、対象の SWF を調査し、片方の SWF に含まれるムービークリップをテンプレートパーツとして保存しておく際のコードサンプルです。

require '../lib/swfmill_util'
require 'pp'

################################################################################
# test to templatize movieclip                                                                                                                              

# initialize
swf = SwfmillUtil::Swf.parseSwf(File.open("data/sample_original.swf").read)
swf2 = SwfmillUtil::Swf.parseSwf(File.open("data/sample_original2.swf").read)

# check included movieclips (object_id => SwfmillUtil::Swf::DefineSprite)
pp swf.movieclips.keys #=> ["8", "5"]
pp swf2.movieclips.keys #=> ["6", "3"]

# check included movieclip_ids by instance_name
pp swf.movieclip_ids_named("animation") #=> ["5"]
pp swf2.movieclip_ids_named("animation") #=> ["6"]

# templatize movieclip specifying the mapping of object_ids
#  and available, unused object_id (if you want to adjust object_ids)
File.open("data/animation_template.xml", "w") do |f|
  f.puts swf2.movieclips["6"].templatize(true, 6, 5, 1000)
end

上の通り、DefineSprite#templatize は 4 つの引数をとります。これらは手前から:

  • あらかじめ ID の調整をおこなうか(true/false)
  • 対象のムービークリップに付与されている ID
  • 対象のムービークリップを、SWF に入れ込む際の ID
  • テンプレート化の際におこなう ID の再編成時に使用できる、未使用の ID の最小値

を表しています。真ん中のふたつは、上記の前半で得られるような、SWF の調査結果をもとに指定します。最後の引数は、明らかに重複の無い大きめの値をバッファを持って指定しておくと良いと思います。なお、引数を何も指定しなければ、テンプレート化の際に ID の調整はおこないませんので、regenerate の際に調整する必要が出てきます。

なお、ここでは、テンプレート化されたムービークリップは XML 化してファイルで永続化していますが、DB に突っ込んだり、容量が許すなら memcache などのキャッシュに載せておいたりという手を使っても良いと思います。

こんなかんじで作成したテンプレートを、以下のようなコードで差し込みます。ここでは、あらかじめ Swfmill#swf2xml した xml から初期化することで、元の SWF を読み込む際に Swfmill 起動が必要ないようにしています。

require '../lib/swfmill_util'
require 'pp'

#################################################################################
# test to regenerate swf using template movieclip

# initialize original swf by preserved xml generated by Swfmill::swf2xml.
# avoid analysing swf's structure using "template_mode".
swf = SwfmillUtil::Swf.parseXml(File.open("data/sample_template.xml").read, true)

# initialize template movieclip by preserved xml generated by Swf#templatize
# avoid analysing swf's structure using "template_mode".
animation = SwfmillUtil::DefineSprite.parseXml(File.open("data/animation_template.xml").read, true)

# check a target object_id
pp swf.movieclip_ids_named("animation") #=> ["5"]

# change movieclip
swf.movieclips["5"] = animation

# write swf changed movieclip.
# avoid adjusting object_id using "adjustment=false"
swf.write("data/regenerated.swf", false)

初期化時の最後の引数は、テンプレートモード (template_mode) を表しています。テンプレートモードで Swf を初期化すると、初期化時に SWF の構成チェック処理がおこなわれません(つまり、Swf#images や Swf#movieclips で、現在の構成をダンプすることができません)。これにより、初期化の際の処理ステップを、ある程度スキップする事ができます。テンプレートモードは、templatize により、テンプレートがあらかじめ作ってある&元の SWF が調査済みで、入れ替えをおこなう相手もわかっているというときに限り、使用される事を想定しています。

また、Swf#write の最後の引数で指定している論理値は、入れ替え時の ID 調整(adjustment)要否を表しています。templatize の際に adjustment=true とし、入れ替え後の ID 調整を先におこなってあれば、ここで adjustment=false とすることで、さらに Swf 生成前のコストを削減する事ができます。

このあたり、冒頭にも書きましたが、ちょっと強引な仕上がりになってますので、ぱっと見た感じ、何が起こるのかわかりにくいのが難点です。もっと使いやすいインタフェースを考えてますが、今のところはこんな感じでご容赦ください。

XML Parser を rexml から libxml2 に変更

オモテからはほとんど意識する必要のない変更点なのですが、これにより今回追加された機能の処理部分のパフォーマンスが劇的(概ね1桁以上、場合によっては2桁)に上がりました。libxml-ruby は Ruby の標準添付ではないので、別途インストールが必要になってしまうのが懸念点だったのですが、実用上こちらの方が望ましいと思いましたので、思い切って全体を書き換えることにしたのでした。

この乗り換えのきっかけは、このライブラリは、内部では XML 処理がごりごりおこなわれているのですが、rexml を使っていたときは、とくにムービークリップ周りの解析や、ムービークリップ入れ替えの際におこなわれる XPath 検索にかなりのコストがかかっていたことがわかった、ということでした。たとえば、50KB のムービークリップが 30 件くらい入った SWF を解析するのに、デスクトップ環境で5-6分かかり、テンプレートを使用したムービークリップの入れ替えに3-4秒かかるといった具合でした。(そもそもの書き方がアレだった部分は重々ありますが。)

解析処理をおこなう際の変数スコープを調整したり、メソッド化してあったところをブロック付きの Hash に書き換えたりすることでソコソコ改善はしたのですが、結局は rexml の XPath 検索が一番のボトルネックになっていたようで、libxml2 利用に置き換えたのが一番効果的だったようです。

libxml2 の利用により、これまで2-3分かかっていた解析処理は3-4秒、入れ替え処理も0.2-0.3秒程度まで短縮できました。同時大量アクセスのあるサイトには厳しいかもしれませんが、他の面でもいろいろ工夫をいれる余地のある環境/状況でしたら、そこそこ実用に耐え得るのかな、と思います。

以上、今回の大きな変更点を紹介しました。まだまだ不具合等内在しているかもですが、ご利用いただけましたら感想など聞かせていただけるとうれしいです。

Tagged with:
5月 08

前回までの「ケータイサイトでFlashLiteコンテンツを動的生成する」エントリで紹介してきた swfmill を使った FlashLite コンテンツの動的処理に関連して、SWF に含まれる画像やテキストを操作するための簡単なクラス集を作ってみました。

swfmill_ruby – github

swfmill と同じ GPL2(the GNU GENERAL PUBLIC LICENSE Version 2) にてライセンスいたします。

swfmill_ruby は、Swfmill を ruby から起動するための簡単なクラス(SwfmillUtil::Swfmill)と、これを使って Swf を操作するためのクラス(SwfmillUtil::Swf)から構成されます。使用には、ruby の標準的な開発環境に加えて、以下のものを用意する必要があります。

その他、使用手順など、詳細は公開ファイル中の README を参照してください。

Swf の操作機能は、現時点では、もっともよく利用する:

  • 画像の入れ替え
  • テキストの入れ替え

に絞って実装しています。これを使用することで、以下のサンプルコードのように、Swf#images で Swf 中の画像データを objectID => Magick::Image のハッシュ、Swf#texts でテキストデータを objectID => String のハッシュにてアクセスする事ができます。

require '../lib/swfmill_util'
require 'pp'

# initialize
swf = SwfmillUtil::Swf.new(File.open("sample.swf").read)

# check included images (object_id => Magick::Image)
pp swf.images #=> {"6"=> JPEG 176x208 176x208+0+0 DirectClass 8-bit 10kb, "3"=>  30x30 DirectClass 16-bit}
pp swf.texts #=> {"2"=>"343201202343201204343201206343201210343201212ABCr"}

# write included images
#swf.images.each do |i,image|
#  image.write("#{i}.#{image.format ? "jpg" : "gif"}")
#end

# replace included images
swf.images['3'] = Magick::Image.from_blob(File.open("flymelongirl.gif").read).first
swf.images['6'] = Magick::Image.from_blob(File.open("bg.jpg").read).first
swf.texts['2'] = "かきくけこXYZ"

# write swf replaced images
swf.write("foo.swf")

後半で書いている通り、画像やテキストの書き換えは、ハッシュの値を置き換えてやる事で実現できます。Swf#write によりファイル出力できますし、Swf#regenerate で再生成後の swf をそのまま得る事もできます。

内部的には、Magick::Image <=> DefineBitsJPEG2/DefineBitsLossless2 の変換をおこなっています。とくに DefineBitsLossless2 の変換処理は、ちょっと面倒ですし、あまり ruby での実装を見かけないので、何らか使いどころがあればお使いください。ImageMagick / RMagick を併用するので多少重たいかもですけど。

なお、FlashLite 1.1 を対象に、よく使うあたりを中心に実装していますので、DefineBitsJPEG3 や DefineBitsLossless2 での format=5, DefineBitsLossless, DefineText などはひとまず除外しています。必要に応じて、適当に修正してみてくださいませ。

今更ながら、大胆な名付けをしてしまった気がするので、いろいろいじってみてもらえると嬉しいです!

Tagged with: