[سوال] موارد خاص در web scraping

[nImaarek]

سلام دیدین بعضی سایت ها برای لاگین از ما میخوان که با اکانت ایمیل لاگین کنیم ؟ خب من میخوام مراحل لاگین خودکار انجام بدم و برام اجباری هست که از مرورگرهای headless مثل phantomjs استفاده کنم.

حالا میخوام ببینم چطور میشه صفحه ای رو که بعد از کلیک روی یه باتوم باز میشه هندل کرد ؟
یا مثلا من روی یه دکمه ای کلیک میکنم یه فایل دانلود میشه خب من چطوری بفهمم که فایلم دانلود شده یا نه ؟ چطوری میتونم هندلش کنم ؟

مرسی 


پ.ن سورس یکی از دکمه های که باعث باز شدن صفحه ای جدا برای لاگین میشه به این صورت هست :

کد php:

<button id="start-abi" class="mn-abi-form__primary-btn button-primary-large mb4" data-ember-action="" data-ember-action-1086="1086">
                Continue
            </button> 


خب این اطلاعات چطوری میفرسته ؟ یا چطوری اون صفحه صدا میزنه ؟

[Ghoghnus]

سلام
منظورت را متوجه نشدم ولی اگر میخوای از نتیجه اطلاعات باخبر بشی میتونی از تایتل سایت استفاده کنی

[nImaarek]

کجای حرفای من گنگ هست ؟ بگید یه بار دیگه توضیح بدم.. نمونه کد هم که گذاشتم!
تایتل ؟ خیلی تاکتیک ابتدایی هست..
شما با web scrap آشنایی داری ؟

[lord_viper]

تو خود سایتش مستدات api و مثال داره

کد:

http://phantomjs.org/
http://phantomjs.org/api
http://phantomjs.org/examples

[babyy]

سلام

@لرد گرامی یا احترام و عرض ادب مراتب جهت اطلاع اعلام میگرد:

آقا من گشتم توی سایتش نبود؛

چیزی که هست اینه که باید همه چیز رو دستی نوشت؛ یعنی تابع آماده نداره؛ جتی  سرچ کردم و دیدم برای کلیک کردن و .. jqury رو اینجکت میکنند تا کاراشون رو انجام بدن!

و بیشتر سرچ کردم دیدم واسه هندل کردن صفحات و .. یه فریم ورک دیگه بنام casper به وجود اومده که روی فانتوم میشینه؛ و میشه اینکار ها رو با اون مدیریت کرد؛ یعنی یه جورایی توابع آماده داره واسه راحتی کار و . . . .



@nImaarek
   این سواله آخه میپرسی؟ دو روزه ما رو از کار و زندگی انداختی

خب این اطلاعات چطوری میفرسته ؟ یا چطوری اون صفحه صدا میزنه ؟

امروزه رسم شده دیگه توی تگ ها از رویداد ها استفاده نمیکنند؛ مثلا نمینویسند onclick و ... جاش با js این کارو میکنند؛ یعنی در حافظه رویداد های مربوط به اون شی رو تظیم میکنند؛ شما باید با insepect element ( فارسیش به زبون شما چی میشه؟ من فارسی حرف بد زد : شما میگید ردیابی المنت؟ ) اون عنصر رو رد گیری کنی ببینی چه چیزهایی بهش نسبت داده شده