Html, Http Kütüphanesinde Scrapping Problemi hakkında

alonee35

Merhaba arkadaşlar iyi günler. Yeni Flutter öğrenmeye başladım öğrendiklerimi pekiştirmek için yapmaya başladığım bir projede takıldığım yeri sizlere de sormak istedim; Bir url adresi var içerisinde 2 adet textbox ve 1 adet butonum var. Amacım html ve http kütüphanesiyle bu adrese girip uygulamamın ana ekranındaki TextFieldlerdeki değerleri siteye gönderip butona basmak çıkan sonucuda alıp uygulamamdan göstermek. Fakat değerleri Texfielddeki değerleri Url ye gönderiyorum ama sayfayı submitleyemedim bir türlü, bu yüzden gelen sonuca ulaşamıyorum. Buttonu attribute edemiyorum. Yardımcı olabilir misiniz acaba?

alonee35

Kodlarım burada;

const link = "adres";

void postData() async {
  var response =
      await http.Client().get(Uri.parse(link)); // adresimize istek atıyoruz.

  if (response.statusCode == 200) {
    // bağlantı başarılıysa işlemlere başlayalım.
    dom.Document document =
        parse(response.body); //Dönen cevaptaki html koldlarını alıyoruz.

    document
            .getElementById("ContentPlaceHolder1_txtSorgulama")!
            .attributes['value'] =
        txtHesapNo
            .text; // uygulamadaki TextField içerisindeki veriyi adresteki ilgili Input'a Value değeri olarak ekliyoruz.

    document
            .getElementById("ContentPlaceHolder1_txtendex")!
            .attributes['value'] =
        txtEndeksNo
            .text; // uygulamadaki TextField içerisindeki veriyi adresteki ilgili Input'a Value değeri olarak ekliyoruz.

    /**
    * Burada sayfayı enterlamak gerekiyor muhtemelen
    */

    txtSonuc.text = document
        .getElementById("ContentPlaceHolder1_lblYanit")!
        .text
        .replaceAll("*", "")
        .replaceAll(" ", "")
        .replaceAll("TL", ""); // Çıkan sonucu isteğimize göre parse ediyoruz.

    //txtSonuc.text = document.outerHtml; //test için
  } else {
    throw Exception();
  }
}

HseyinAkkaya

alonee35 Bu yaptığınız işlem aslında sayfanın size verdiği değerleri bir değişkene atamak ve içeriğini değiştirmek. Bu kütüphaneler ile (yapabilecek kütüphane var mı diye araştırdım) veya başka bir kütüphane ile form submit etmeye bir yol bulamadım. Çünkü apiler bunun için var. bir sayfayı çekip içine değer yazıp onu submit edip tekrar çıktıyı parse etmeye çalışmaktansa web api kullanın. apiye istekte bulunun ve cevabını ekrana basın.

alonee35

HseyinAkkaya teşekkür ederim hocam. Bende dediklerinizi düşündüm ama site için herhangi bir API ve kütüphane bulamadım. URL de parametre almıyor maalesef. Son çare böyle yapmak istedim, oda yanlış yolmuş maalesef olmadı.

alonee35

HseyinAkkaya Ama şöyle bir mantıkta var, C# da Form üzerine Webbrowser ekleyip onun vasıtasıyla bu işlemleri yaptım. Ve form üzerinde de Webbrowserı Hide yaptım güzel bir şekilde oldu program. Acaba bunun benzerini Android te bir webview e yaptırabilir miyim? Tavsiye ve öneriniz var mı.

HseyinAkkaya

alonee35 Bunu webview ile yapan bir örnek var. Webview’a controller atayıp içine javascript basarak çözmüşler. Denemedim ama deneyebilirsiniz. Kaynakta verdiğim örnekte kütüphanin eski sürümü kullanılmış. pub.dev üzerinde bu metodların kullanım dışı olduğu yazıyor. ben her ikisini de örneklendireyim dedim. Dener ve sonuçlarını yazarsanız forum olarak memnun oluruz. Çalışması durumunda webview’i gizleyip işlem yapılabilir diye düşündüm. Hatasız kodlamalar 🙂

Kısaca kullanımı
WebViewController _webViewController; tanımlayıp

WebView(
      onWebViewCreated: (controller) {
        _webViewController = controller;
      },
    );

ile controller’ı ele alıyorsunuz. kütüphanenin eski sürümünde

controller.evaluateJavascript("document.getElementById('btnId').click()");

yeni sürümünde

controller.runJavascript("document.getElementById('btnId').click()");

değerlere ulaşmak için

var txt=  await controller.evaluateJavascript("document.getElementsByTagName('html')[0].InnerHTML"); //eski sürüm
var txt= await controller.runJavascriptReturningResult("document.getElementsByTagName('html')[0].InnerHTML"); //yeni sürüm

textbox doldurmayı yine javascript ile yapabilirsiniz diye umuyorum.

kaynak:
https://stackoverflow.com/questions/65086943/flutter-auto-click-on-html-element-loaded-in-webview
https://pub.dev/documentation/webview_flutter/latest/webview_flutter/WebViewController-class.html

alonee35

HseyinAkkaya süpersiniz hocam hemen deneyip, sonuçlardan haberdar edeceğim 👍️

alonee35

Merhaba arkadaşlar Webview widgeti kullanarak sorunu çözdüm. Siteden aldığım sonucu normal scaffold widgetleri içerisinde kullandım. Ayrıca webview widgetini gizleyerek. Güzel bir uygulamaya imza atmış oldum sayenizde. 😄 Tekrardan çok teşekkür edderim. 🖐️ Aşağıda denediğim koları paylaşıyorum. Belki ihtiyacı olanlara yardımcı olur.

void postData() async {
    _webViewController.runJavascript(
        "document.getElementById('ContentPlaceHolder1_txtSorgulama').setAttribute('value','" +
            widget.hesapNo +
            "')"); // Başka sayfadan gönderdiğim verileri Webview widgetinde sitelere insert ederek kullandım.

    _webViewController.runJavascript(
        "document.getElementById('ContentPlaceHolder1_txtendex').setAttribute('value','" +
            widget.endeksNo +
            "')"); // Başka sayfadan gönderdiğim verileri Webview widgetinde sitelere insert ederek kullandım.

    _webViewController.runJavascript(
        "document.getElementById('ContentPlaceHolder1_Button1').click()"); // Formdaki sorgulama butonuna clickledik

    gelenSonuc = await _webViewController.runJavascriptReturningResult(
        "document.getElementById('ContentPlaceHolder1_lblYanit').outerHTML"); // Ve burada webview deki sonucu kullanmak için değişkene çekip aldık
        }