OS3.0でタンブラー系のアプリが死亡してるのとか見て思ったんだけど、スクレイピング系のアプリはスクレイピングパートを自前のサーバーに置いて、そこを経由するほうがいいのかなぁと思った。
スクレイピングのアルゴリズムをアプリの中にハードコードしてしまうと、HTMLの仕様が変わってしまったときに、迅速な対応ができない。修正版をAppleに提出しても１〜２週間かかってしまい、その間アプリは動くなってしまうので。
あとはそういうロジック部分をサーバに出しとくと、iPhone, Android, BlackBerryとかでクロスなアプリを作りやすいし、危機対応もしやすいのかなぁと思う。
fladdict » スクレイピングはサーバー処理が安全かなぁ
内部実装の話なので特に外に向けてアピールするつもりはなかったのですが、tumblr gear r.1.2.0 でまさにその実装をしていたところなので、ちょっとびっくりしました。
fladdictさんの指摘と違うことをやろうとしているのは、スクレイピングの処理自体をサーバー側に乗せてしまうとスケールしないと思ったので、スクレイピングのエンジンをクライアント側に持ち、クライアントはメタデータをサーバー側から取ってきてスクレイピングする、という実装にしているところ。
すでにスクレイピング処理に使うメタデータのほとんどはサーバー側に配置できているのですが、もっと処理の抽象化やパラメーター化が必要だなあと思っています。
という実験中。
(via honishi) (via yaruo) (via clavier)
(via vmconverter)
(via omasayan)
(via otsune)OS3.0でタンブラー系のアプリが死亡してるのとか見て思ったんだけど、スクレイピング系のアプリはスクレイピングパートを自前のサーバーに置いて、そこを経由するほうがいいのかなぁと思った。
スクレイピングのアルゴリズムをアプリの中にハードコードしてしまうと、HTMLの仕様が変わってしまったときに、迅速な対応ができない。修正版をAppleに提出しても１〜２週間かかってしまい、その間アプリは動くなってしまうので。
あとはそういうロジック部分をサーバに出しとくと、iPhone, Android, BlackBerryとかでクロスなアプリを作りやすいし、危機対応もしやすいのかなぁと思う。
fladdict » スクレイピングはサーバー処理が安全かなぁ
内部実装の話なので特に外に向けてアピールするつもりはなかったのですが、tumblr gear r.1.2.0 でまさにその実装をしていたところなので、ちょっとびっくりしました。
fladdictさんの指摘と違うことをやろうとしているのは、スクレイピングの処理自体をサーバー側に乗せてしまうとスケールしないと思ったので、スクレイピングのエンジンをクライアント側に持ち、クライアントはメタデータをサーバー側から取ってきてスクレイピングする、という実装にしているところ。
すでにスクレイピング処理に使うメタデータのほとんどはサーバー側に配置できているのですが、もっと処理の抽象化やパラメーター化が必要だなあと思っています。
という実験中。
(via honishi) (via yaruo) (via clavier)
(via vmconverter)
(via omasayan)
(via otsune)Posted 2 years ago 125 notes
Notes:
-
yshm liked this
-
yshm reblogged this from noboko
-
softbear reblogged this from furoneko
-
dfgkelxp reblogged this from ipodstyle
-
sunshinerecorder reblogged this from nobby0-0
-
akyt reblogged this from verdy
-
tchie liked this
-
invoke reblogged this from gearmann
-
gearmann reblogged this from gkojay
-
salz liked this
-
nezzz liked this
-
yamada123456789 reblogged this from gkojay
-
mizuwari reblogged this from gkojay
-
yosha reblogged this from gkojay
-
yosha liked this
-
gkojay reblogged this from vmconverter
-
tkashiwagi reblogged this from mitukiii
-
mitukiii reblogged this from honishi
-
pngnq reblogged this from otsune
-
areha reblogged this from kanal
-
tk78 reblogged this from kanal
-
morygonzalez reblogged this from kanal
-
kanal reblogged this from ku
-
tsukamoto reblogged this from ku
-
yksk reblogged this from ku
-
macotoi reblogged this from ku
-
mitsuaki reblogged this from slicks
-
oosuka reblogged this from ku
-
seashore reblogged this from otsune
-
tfujiki reblogged this from ku
-
polog reblogged this from ku
-
wackey liked this
-
yager reblogged this from ku
-
slicks reblogged this from ku
-
tdrk reblogged this from ku
-
tanukian reblogged this from ku
-
manamanmana reblogged this from ku
-
comsmet reblogged this from ak47
-
ku reblogged this from honishi
-
tumbtumb reblogged this from omasayan
-
stomita reblogged this from ku
-
aya18 reblogged this from ichimonji
-
so-ta liked this
-
sugizou reblogged this from reretlet
-
shckor liked this
-
currentdir liked this
-
proto-jp liked this
-
xkazu liked this
-
privatearmy liked this
-
mtakeshi liked this
- Show more notes