Text Extract - Generate & Visit URL

Discussions and Tech Support related to website data extraction, screen scraping and data mining using iMacros.

Moderators: Community Moderators, iMacros Moderators

Forum rules
Before asking a question or reporting an issue:
1. Please review the list of FAQ's.
2. Use the Google search box (at the top of each forum page) to see if a similar problem or question has already been addressed. This will search the entire contents of the forums as well as the iMacros Wiki.
3. We can respond much faster to your posts if you include the following information:

CLICK HERE FOR IMPORTANT INFORMATION TO INCLUDE IN YOUR POST

Answering your own posts (e.g. attempting to "bump" your topic) drops your topic from the list of unanswered threads, so it may actually receive less views.

Text Extract - Generate & Visit URL

by chrisko on Fri Mar 04, 2016 6:20 pm

Hey Guys,

i cant get it till an hour. Maybe u can help me. The Problem is of course really easy.

So i have a small page:
<html>
<head>
<title>PHP-Test</title>
</head>
<body>
http://test.de/index.html
</body>.....

and i have a code in imacro:
TAG POS=1 TYPE=body ATTR=* EXTRACT=TXT
SET verification_url {{!EXTRACT}}
URL GOTO={{verification_url}}

the result in the Browser is always:
www.http.com//test.de/index.html

I cant find my mistake. Maybe you have an idea?

Thanks & Best Chris!
MY Config: iMacros 8.9.6 for Firefox; Firefox 45.0; Mac OSX 10.10.5
chrisko
 
Posts: 21
Joined: Fri Mar 04, 2016 6:08 pm

Re: Text Extract - Generate & Visit URL

by chivracq on Sat Mar 05, 2016 4:57 pm

chrisko wrote:Hey Guys,

i cant get it till an hour. Maybe u can help me. The Problem is of course really easy.

So i have a small page:
Code: Select all
<html>
 <head>
  <title>PHP-Test</title>
 </head>
 <body>
http://test.de/index.html
</body>.....


and i have a code in imacro:
Code: Select all
TAG POS=1 TYPE=body ATTR=* EXTRACT=TXT
SET verification_url {{!EXTRACT}}
URL GOTO={{verification_url}}


the result in the Browser is always:
http://www.http.com//test.de/index.html

I cant find my mistake. Maybe you have an idea?

Thanks & Best Chris!

Yep, no need to open several Threads about the same Qt, second Thread deleted...

CIM...! :mrgreen:
- (F)CIM = (Full) Config Info Missing: iMacros + Browser + OS with all 3 Versions...
- I usually don't even read the Question if that (required) Info is not mentioned...
- Script & URL usually help a lot for a more "educated" Help...
chivracq
 
Posts: 6490
Joined: Sat Apr 13, 2013 6:07 am
Location: Amsterdam (NL)

Re: Text Extract - Generate & Visit URL

by chrisko on Sun Mar 06, 2016 4:12 am

Ok, post it twice was my mistake, sorry for that.

But do you have any Idea how to solve my problem ?
MY Config: iMacros 8.9.6 for Firefox; Firefox 45.0; Mac OSX 10.10.5
chrisko
 
Posts: 21
Joined: Fri Mar 04, 2016 6:08 pm

Re: Text Extract - Generate & Visit URL

by chivracq on Sun Mar 06, 2016 6:43 am

chrisko wrote:Ok, post it twice was my mistake, sorry for that.

But do you have any Idea how to solve my problem ?

Dunno..., read my Sig... :roll:
- (F)CIM = (Full) Config Info Missing: iMacros + Browser + OS with all 3 Versions...
- I usually don't even read the Question if that (required) Info is not mentioned...
- Script & URL usually help a lot for a more "educated" Help...
chivracq
 
Posts: 6490
Joined: Sat Apr 13, 2013 6:07 am
Location: Amsterdam (NL)

Re: Text Extract - Generate & Visit URL

by chrisko on Sun Mar 06, 2016 6:58 am

iMacros 8.9.6 for Firefox
Firefox 44.0.2
Mac OSX 10.10.5

Question: How can i grap the URL on the page (its not in href tags) in a var in imacro an than open the url in a new page.

Best Chris
MY Config: iMacros 8.9.6 for Firefox; Firefox 45.0; Mac OSX 10.10.5
chrisko
 
Posts: 21
Joined: Fri Mar 04, 2016 6:08 pm

Re: Text Extract - Generate & Visit URL

by chivracq on Tue Mar 08, 2016 3:26 pm

chrisko wrote:
Code: Select all
iMacros 8.9.6 for Firefox
Firefox 44.0.2
Mac OSX 10.10.5


Question: How can i grap the URL on the page (its not in href tags) in a var in imacro an than open the url in a new page.

Best Chris

Woaw...!, we finally have your FCI...! :D
(I won't even react next time you open a new Thread if you don't mention that Required Info...)

But, hum, I guess you gave a Fake URL, running your Script on the Page of the URL you provided extracts:
Code: Select all
 Testberichte von Stiftung WarentestZum InhaltZu den weiteren AngebotenEinloggenJetzt registrierenKontaktImpressumNewsletterHilfeÜber unsPresseTestsShopBestsellerNeuerscheinungenAltersvorsorge + RenteBildung + BerufEigenheim + MieteEssen + TrinkenFreizeit + VerkehrGeldanlage + BankenGesundheit + KosmetikHaushalt + GartenKinder + FamilieMultimediaSteuern + RechtVersicherungentestFinanztestJahrbücher + Archiv-CDsZur ÜbersichtAbotest-AboFinanztest-Abotest.de-FlatrateZur ÜbersichtMein test.deMein test.de ÜbersichtMein ProfilMerklisteBezahlte InhalteMeine ProduktfinderNewsletterWieso registrieren?WarenkorbMerkliste (0)Altersvorsorge + RenteBildung + BerufEigenheim + MieteEssen + TrinkenFreizeit + VerkehrGeldanlage + BankenGesundheit + KosmetikHaushalt + GartenKinder + FamilieMultimediaSteuern + RechtVersicherungenVoraus­gefüllte Online-SteuererklärungSo nutzen Sie Elster­online08.03.2016 - Die voraus­gefüllte Steuererklärung mit Elster­online soll einfach und schnell gehen. Doch gerade Einsteigern macht es die Finanzbehörde nicht leicht. Finanztest bietet eine Schritt-für-Schritt-Anleitung, wie sich Steuer­pflichtige bei Elster­online registrieren und die Steuerbelege abrufen können. Zum Special 930 Beliebte ThemenNeue TestsBeliebte Themen Altersvorsorge + RenteAltersvorsorgecheckPrivate RentenversicherungRiester-RenteRürup-RenteMehr...Bildung + BerufSprachkursStudiumMehr...Eigenheim + MieteAnschlussfinanzierungBausparenImmobilienkreditMehr...Essen + TrinkenBio und regionalMineralwasserOlivenöl, Sonnenblumenöl, u.a.TeeMehr...Freizeit + VerkehrE-Bike und PedelecFahrrad: Helm, SchlossFitness und HeimtrainerMehr...Geldanlage + BankenFestgeld, Sparbrief, TagesgeldFonds und ETFWertpapiere kaufen, DepotMehr...Gesundheit + KosmetikMedikamenteZahnbürste, ZahnseideZahnpasta, MundspülungMehr...Haushalt + GartenGeschirrspülerMatratzen, BettdeckeStaubsauger, SaugroboterWäschetrocknerWaschmaschineMehr...Kinder + FamilieAutokindersitzKinderwagen, BuggySinglebörseMehr...MultimediaDruckerFernseherHandy und SmartphoneKameraTabletMehr...Steuern + RechtPatientenverfügung, VorsorgevollmachtMehr...VersicherungenAutoversicherungBerufs- und ErwerbsunfähigkeitGesetzliche KrankenkassePrivate HaftpflichtZahnzusatzversicherungMehr...Alle Themen A-ZNeue Tests 07.03.2016Objektive: 38 Zooms und Fest­brenn­weiten im Test04.03.2016Gesetzliche Krankenkasse: Die beste Kasse für Sie04.03.2016Zinsen: Tages­geld, Fest­geld und Spar­briefe04.03.2016Fest­geld und Spar­brief: Die besten Zinsen04.03.2016Tages­geld: Die besten Zinsen04.03.2016Badreiniger im Test: Meister Proper Schluss­licht03.03.2016Bundes­wert­papier, Pfand­brief, Unter­nehmens­anleihe: Anleihen im Test02.03.2016Kinder­sitze einbauen: Bei welchen Autos es passt01.03.2016Dividenden­aktien: Diese Unternehmen zahlen regel­mäßig gute Dividenden26.02.2016Hand­ytarife: Die güns­tigsten Tarife für SieAlle Tests zeigenAktuell auf test.deBefristete Sonder­abschreibung Regierung setzt Anreize für Wohnungs­bau08.03.2016 - Käufer und Bauherren neuer Miet­wohnungen können bis zu 35 Prozent der Baukosten als Sonder­abschreibung absetzen. Mit der Sonder­abschreibung will die Bundes­regierung den Bau bezahl­barer Miet­wohnungen ankurbeln. Die Regelung ist zunächst auf drei Jahre befristet. test.de sagt, wo sie gilt, und was gefördert wird.Zur Meldung 4 Panono Camera „Wegwerfkamera“ mit Panoramaklick – der Schnell­test07.03.2016 - Kamera hoch­werfen, wieder auffangen, einige Minuten warten, fertig ist die 360-Grad-Aufnahme. Die Idee des Berliner Studenten Jonas Pfeil, eine Kugel­panoramakamera für Normal­verbraucher zu bauen, wurde dank Crowdfunding bis zur Serien­reife entwickelt. test.de hat sich das fertige Produkt angesehen und erklärt, was Nutzer von der rund 1 500 Euro teuren Panono-Ball­kamera erwarten können – und was nicht.Zum Schnelltest 132 Abgasmanipulation bei Volks­wagen und Audi Antworten auf Ihre Fragen07.03.2016 - Knapp 2,5 Millionen Diesel-Autos von VW, Seat, Skoda und Audi in Deutsch­land pusten im Fahr­betrieb mehr Stick­oxid und Fein­staub in die Luft als zulässig. Hier finden Sie Antworten auf die drängendsten Fragen – zur Rechts­lage, zur Technik und zu den nächsten Schritten von VW. Neu: Bei einzelnen VW-Modellen wurden inzwischen Software-Updates aufgespielt. Doch Messungen der Zeit­schrift Auto Motor Sport ergaben: Beim VW Amarok 2.0 TDI stiegen danach Leistung und Sprit­verbrauch.*Zur Meldung 79207 Rezept des Monats Maispoularde mit Polenta07.03.2016 - Dieses Früh­jahr kommt das Gelbe vom Mais ganz groß raus: Wir servieren gebratene Maispoularden­brust – und Polenta. Die Polenta lässt sich in x-beliebige Formen schneiden. Dazu passen mit Vanille verfeinerte Möhr­chen.Zum Rezept 2 Objektive 38 Zooms und Fest­brenn­weiten im Test07.03.2016 - Auf das Objektiv kommt es an! Wir haben 17 Reisezoom­objektive getestet – darunter Zooms bekannter Kamera­hersteller wie Canon, Nikon, Olympus, Panasonic und Sony. Und dazu im Vergleichs­test: 21 Objektive mit Fest­brenn­weite sowie Zooms von sieben großen Marken. Hier lesen Sie, für welchen Einsatz welches Objektiv sinn­voll ist, welche Objektive am besten sind – und wo es Qualität für wenig Geld gibt.Zum Test 113 Rücken­schmerzen Bewegung nützt doppelt04.03.2016 - Dass Sport bei akutem Rücken­schmerz hilft, ist bekannt. Doch wie eine neue Studie zeigt, beugt er auch künftigen Beschwerden vor.Zur Meldung 115 Fonds­vermittler Tausende Investmentfonds ohne Ausgabe­aufschlag04.03.2016 - Fonds­vermittler im Internet sind häufig die beste Adresse, wenn es um den Kauf aktiv gemanagter Fonds geht. Bei ihnen gibt es Tausende Fonds ohne Ausgabe­aufschlag. Für die Verwahrung müssen Anleger allerdings in der Regel etwas zahlen. test.de nennt 27 Fonds­vermittler sowie 5 Fonds­banken, mit denen sie zusammen­arbeiten und vergleicht die Depot­preise.*Zur Meldung 547 Gesetzliche Krankenkasse Die beste Kasse für Sie04.03.2016 - Mit dem Jahres­wechsel haben 59 von 88 für alle geöff­neten Krankenkassen ihre Beiträge erhöht. Den Aufschlag tragen allein die Arbeitnehmer. Der Krankenkassen­vergleich zeigt: Jetzt lohnt ein Kassen­wechsel besonders. Die jähr­liche Ersparnis beträgt im Extremfall über 800 Euro brutto. Doch nicht nur der Beitrag ist entscheidend – auch auf Leistung und Service kommt es an. Der Pro­dukt­finder Krankenkassen zeigt alle drei wichtigen Kriterien zur Auswahl der für Sie richtigen Kasse.Zum Test 2546955 Stiftung Warentest ArchivAktuelle Heftetest 03/2016 Digitalkameras: Die Besten mit System Heft ansehenFinanztest 03/2016 Kosten Geld­anlage: So sparen Sie bei Fest­geld, Fonds und Versicherungen Heft ansehenJetzt Vorteilspaket sicherntest Jahrbuch 2016 für nur 7,50 € – und dazu 3 Ausgaben von test gratis frei Haus7,50Jetzt bestellen!Finanztest Jubiläumsangebot9 x Finanztest für 25 € – und dazu das "Vorsorge-Set" + Notizbuch gratis25,00Jetzt bestellen!Bücher + SpezialhefteDie Nebenbei-Diät. Schlank werden für Zwischendurch Einfach abnehmen - ohne Diätpläne  9,90Buch ansehenWindows 10 Ein System für PC, Notebook, Tablet  16,90Buch ansehenZum Shoptest.de-FlatratesSichern Sie sich mit der test.de-Flatrate freien Zugriff auf alle Tests und Produktfinder.Mehr erfahren: test.de-FlatratesPelz-Schwindel: Täuschungen erkennenTierfell statt Kunstfell. Die Stiftung Warentest hat exemplarisch fünf Kleidungsstücke untersucht. Fünfmal war der Pelzbestandteil aus Tierfell statt aus Kunstpelz. So kommen Sie dem Pelz-Schwindel auf die Spur.Pelz-Schwindel erkennenSpecialsRauchmelder Gute Melder ab 20 Euro – der teuerste im Test versagt 08.02.2016 - Ein Rauchmelder kann Leben retten. Mit lautem Alarm verhindert er, dass ein... Zum TestEspresso­maschinen 41 Voll­automaten im Test 28.11.2014 - Cappuccino und Latte macchiato wollen immer mehr Deutsche auch zuhause genießen.... Zum TestZahn­zusatz­versicherung 189 Policen im Test 15.07.2014 - Jeder achte Mensch in Deutsch­land läuft mit Zahnlü­cken herum, weil er sich... Zum Test Video: Die Stiftung Warentest in 100 SekundenDie Stiftung Warentest stellt sich vorDie Stiftung Warentest bietet unabhängige Tests z.B. aus den Bereichen Multimedia und Haushalt, Ernährung und Gesundheit sowie Finanzen und Versicherungen. Sie kauft alle Testprodukte anonym im Handel und nimmt Dienstleistungen verdeckt in Anspruch. Neutrale Institute testen nach ihren Vorgaben mit wissenschaftlichen Methoden. Alle Publikationen sind komplett anzeigenfreiÜber unsSo testen wirAbout us (English)PressePressemitteilungenPresseverteilerUnternehmenWerbung mit TesturteilenSonderdruck erwerben Nach obenAlle Themen A-ZInhaltsübersichtStiftung Warentest AbonnementsNewsletterRSS-FeedVideo-PodcastAudio-PodcastStiftung Warentest im NetzYoutubeFacebookTwitterInformationenDatenschutz, AGBBarrierefreiheit 08.03.2016 © Stiftung Warentest. Alle Rechte vorbehalten.

<!--
var webtrekk = new Object();
webtrekk.trackDomain ="images1.test.de";
webtrekk.trackId = "368664393966025";
webtrekk.domain = "www.test.de";
webtrekk.cookie = "1";
webtrekk.cookieEidTimeout = "12";
webtrekk.cookieSidTimeout = "120";
webtrekk.contentId = "start";
webtrekk.heatmap = "1";
webtrekk.contentGroup = new Array();
webtrekk.contentGroup[1] = "start";
webtrekk.customParameter = new Array();
webtrekk.customParameter[6] = "Startseite";
webtrekk.customParameter[14] = "nicht eingeloggt";
webtrekk.customEcommerceParameter = new Array();
webtrekk.customSessionParameter = new Array();
webtrekk.customSessionParameter[3] = "unbekannt";
webtrekk.productCategory = new Array();
webtrekk.mediaCode = "mc";
webtrekk.linkTrack = "standard";
webtrekk.linkTrackParams = "";
webtrekk.linkTrackAttribute = "";
//-->


if(typeof(wt_sendinfo) != "undefined")wt_sendinfo();


webtrekkLinktrackObjects = []; webtrekkPixel.linkTrackAttribute = 'name'; webtrekkPixel.linkTrackInit();

Well, good luck using this Extract for 'URL GOTO'...!

But if I understand your Qt correctly and you simply want to open a second Tab with the same URL, simply use '!URLCURRENT', I would think...
- (F)CIM = (Full) Config Info Missing: iMacros + Browser + OS with all 3 Versions...
- I usually don't even read the Question if that (required) Info is not mentioned...
- Script & URL usually help a lot for a more "educated" Help...
chivracq
 
Posts: 6490
Joined: Sat Apr 13, 2013 6:07 am
Location: Amsterdam (NL)

Re: Text Extract - Generate & Visit URL

by chrisko on Wed Mar 09, 2016 3:26 pm

Thanks for helping!

But if I understand your Qt correctly and you simply want to open a second Tab with the same URL, simply use '!URLCURRENT', I would think...


No, not really. The URL at the Page i want to open is not in HREF Tags, so not klickable. And if i !Extract the plain Text into a !VAR like that: SET verification_url {{!EXTRACT}} and than make URL GOTO={{verification_url}} it doesnt work.

I have checked the correct !Exctract with the Extract_Test_PopUp. There the correct URL!
But the URL GOTO set a www.http.com/ at the beginning of the url.
MY Config: iMacros 8.9.6 for Firefox; Firefox 45.0; Mac OSX 10.10.5
chrisko
 
Posts: 21
Joined: Fri Mar 04, 2016 6:08 pm

Re: Text Extract - Generate & Visit URL

by chivracq on Wed Mar 09, 2016 4:08 pm

chrisko wrote:Thanks for helping!

But if I understand your Qt correctly and you simply want to open a second Tab with the same URL, simply use '!URLCURRENT', I would think...


No, not really. The URL at the Page i want to open is not in HREF Tags, so not klickable. And if i !Extract the plain Text into a !VAR like that: SET verification_url {{!EXTRACT}} and than make URL GOTO={{verification_url}} it doesnt work.

I have checked the correct !Exctract with the Extract_Test_PopUp. There the correct URL!
But the URL GOTO set a http://www.http.com/ at the beginning of the url.

Oh...!, I was going to bash you that I would do any Digging for you only if you did "everything" a bit correctly in ALL your Threads, but you've added as well your FCI in your other Thread since I last checked it and where I didn't react as it was missing, like I had mentioned... Good-good-good...!

So OK, but, pfff..., without the URL of your Site and me being able to play with the Page, it's a bit cumbersome because I cannot do any Testing myself..., which would go 20 times quicker than having to give you each time only some generic Suggestions...

But, yep, '!EXTRACT_TEST_POPUP' is "informative" but not good enough. Use 'PROMPT' with a Leading and a Trailing Underscore or any Delimiter of your choice to make sure you don't get any Spaces and/or Soft/Hard Returns in your Extract which is what I suppose is happening and FF sees your "first" URL as an empty String and adds automatically the extra String...:
Code: Select all
PROMPT _{{verification_url}}_

If you do get Leading/Trailing Spaces/Returns, you first need to get rid of them with 'EVAL()' + 'trim()'.

And if that doesn't help, post the URL of your real Site and/or upload a (zipped, Max 256Kb) HTML Saveas of your Page to your Thread...
- (F)CIM = (Full) Config Info Missing: iMacros + Browser + OS with all 3 Versions...
- I usually don't even read the Question if that (required) Info is not mentioned...
- Script & URL usually help a lot for a more "educated" Help...
chivracq
 
Posts: 6490
Joined: Sat Apr 13, 2013 6:07 am
Location: Amsterdam (NL)

Re: Text Extract - Generate & Visit URL

by chrisko on Thu Mar 10, 2016 8:29 am

chivracq wrote:
If you do get Leading/Trailing Spaces/Returns, you first need to get rid of them with 'EVAL()' + 'trim()'.


Yeah! That's it. Thank you very much!!!

i solved it with this Code:
Code: Select all
SET !VAR1 EVAL("\"{{verification_url}}\".replace(/^\\s*|\\s*$/g, \"\");")
MY Config: iMacros 8.9.6 for Firefox; Firefox 45.0; Mac OSX 10.10.5
chrisko
 
Posts: 21
Joined: Fri Mar 04, 2016 6:08 pm

Re: Text Extract - Generate & Visit URL

by chivracq on Thu Mar 10, 2016 10:54 am

chrisko wrote:
chivracq wrote:
If you do get Leading/Trailing Spaces/Returns, you first need to get rid of them with 'EVAL()' + 'trim()'.


Yeah! That's it. Thank you very much!!!

i solved it with this Code:
Code: Select all
SET !VAR1 EVAL("\"{{verification_url}}\".replace(/^\\s*|\\s*$/g, \"\");")

Very good...! And I'm nearly impressed as you managed to find this Example from the 'EVAL()' Wiki-Page, but to be honest, even if it's a very good and useful Example and a good Practice for using Global 'replace()', I usually find Global 'replace()' a bit complicated to adapt, and I think that this Example only handles Leading and Trailing Spaces, not Returns, which often get included in some Extract, 'trim()' is then more powerful because it removes both, and the Syntax is much more simple...
The only Drawback to 'trim()' is that, for some strange Reason... :? , it cannot be combined with any other JavaScript Functions in the same 'EVAL()' Statement and needs its own 'EVAL()' Statement on some Temp Var...
- (F)CIM = (Full) Config Info Missing: iMacros + Browser + OS with all 3 Versions...
- I usually don't even read the Question if that (required) Info is not mentioned...
- Script & URL usually help a lot for a more "educated" Help...
chivracq
 
Posts: 6490
Joined: Sat Apr 13, 2013 6:07 am
Location: Amsterdam (NL)


Return to Data Extraction and Web Screen Scraping

Who is online

Users browsing this forum: No registered users and 2 guests

-->