Druckversion des Themas

Geschrieben von: tmas 12.04.2011, 15:56

Hallo zusammen,

der neue On-Demand-Test wurde von AV-C veröffentlicht.

hxxp://av-comparatives.org/en/comparativesreviews/detection-test

Top 5 in der Erkennung:

1. GDATA (99,8 %)
2. Trustport (99,2 %)
3. AVAST (98,4 %)
4. Panda, F-Secure (98,1 %)
5. Qihoo 360 (97,9 %)

GDATA mit vielen False positives (18) , Qihoo mit extrem vielen FP´s (104), dennoch erstaunliches Ergebnis für einen Newcomer.

Geschrieben von: florian5248 12.04.2011, 16:32

danke tmas,

super Ergebnis für Gdata.

das muss besser werden.

Qihoo habe ich das erste mal gehört.

Geschrieben von: sfio 12.04.2011, 17:04

Hallo!

Norton Antivirus ist aber ganz schön eingebrochen!
Lag die Erkennungsrate bisher immer über 98%, sind es jetzt nur noch 95,5 %!
Vernachlässigt Symantec im Vertrauen auf "Sonar" die Pflege der Signaturen?

nod32 ist in der Erkennungsrate auch nicht besser geworden.
Aber jetzt plötzlich "many" bei den False Positive?

Gruß
Thomas

Geschrieben von: metabolit 12.04.2011, 17:05

Na dann bin ich mit Trustport bestens bedient :-)

Geschrieben von: SebastianLE 12.04.2011, 17:14

"On-Demand-Test" & "Erkennungrate" Mal wieder etwas der veralteten Währung...
...und wie steht es auch richtigerweise in der Methodology "Es kann passieren, dass Müll im Sampleset ist, da automatische Analysen nie fehlerfrei sind" (freie Übersetzung). Also sind die 100% nicht die 100% und man darf sie gar nicht erreichen...

Geschrieben von: Ricard 12.04.2011, 17:19

Warum ist das Sample-Set diesmal so "klein"? Steht im Report eine Begründung?

Geschrieben von: Anubis 12.04.2011, 17:26

Irre ich mich, oder entwickelte sich NOD 32 rückwärts ? Schlechtere bis gleich gebliebene Erkennung bei höherer FP Quote, und dann nur noch Advanced.
Das soll man ESET noch verstehen

So wird das nix mit einem der ersten drei Plätze.

Geschrieben von: Habakuck 12.04.2011, 17:35

Qihoo oder besser bekannt als 360 ist ganz und gar kein Newcommer. Für uns vielleicht aber in China ist es sehr bekannt. Etwa so wie hier in Deutschland Avira. 360 ist auch kostenlos aber leider leider nur in chinesisch verfügbar. Ich glaube da werkelt eine "alte" Kaspersky engine mit eignere Cloud und proaktivem Schutz.
Die Chinesen sind was proaktive Erkennung angeht viel viel weiter als der Westen. Einfach aus der Notwendigkeit heraus, dass die Schädlingszahle dort um ein vielfaches höher liegen. Daher kann man die hohen FP Raten denke ich verstehen...

Geschrieben von: Solution-Design 12.04.2011, 18:42

emsisoft? Sollte doch ein Sonderangebot bekommen, oder irre ich mich da?

Geschrieben von: SebastianLE 12.04.2011, 18:53

Sollte ein nachträglicher Einzeltest (single product test) werden. Gleiches munkelt man über Comodo.

Geschrieben von: Fabian Wosar 12.04.2011, 19:11

EAM ist nicht Teil der "normalen" Testrunde sondern wurde als Einzeltest nebenbei getestet. Wir bekommen den Report morgen soweit ich weiß und werden ihn mit Sicherheit auch für die Öffentlichkeit freigeben.

Geschrieben von: flexibel44 12.04.2011, 20:40

Ja, schade, dass Norton nicht mehr Wert auf Signaturen legt. Es wäre doch besser, erstmal möglichst viel mit Signaturen "wegzufangen" und den Rest mit Sonar & Co. zu erledigen, oder?

Geschrieben von: Solution-Design 12.04.2011, 21:44

So schlimm ist es ja auch nicht. Lediglich eine etwas größere Spreizung.

Geschrieben von: BlackDevil 12.04.2011, 21:48

Bei der flut an neue Malware sind reine Signatur AV`s ohne Chance, deswegen wird Symantec, wie auch viele andere Hersteller an der Verhaltensanalyse arbeiten, um diese zu verbessern.

Geschrieben von: SebastianLE 12.04.2011, 22:28

Bitdefender

Geschrieben von: StR@ng3r 13.04.2011, 04:52

Ganz im Gegenteil. Die Signaturen müssen ständig im Speicher gehalten werden, damit die Reaktionszeit deines Systems nicht noch weiter in die Knie geht. Je mehr Signaturen du hast, desto höher also dein Ressourcenverbrauch und wenn man nun mal überlegt, wie viel neue Malware täglich erscheint... Außerdem sind die Zeiten längst vorbei, wo man für jede neue Malware in der Lage ware gute (starke) Signaturen von kompetenten Mitarbeitern erstellen zu lassen. Das dürfte heute großtenteils automatisiert ablaufen. Nicht zuletzt, weil du ja auch möchtest, dass die Schutzwirkung möglichst zeitnah nach erstmaligem Auftauchen der Malware einsetzt. Daher werden die neuen "alternativen" Erkennungsmethoden (Cloud, BB, HIPS, Heuristik...) immer wichtiger. Da die aber für sich alleine auch noch keinen ausreichenden Schutz bieten, sind moderne Virenscanner eben eine Kombination diverser Technologien, die je nach Produkt mehr oder weniger gut zusammenarbeiten.

Geschrieben von: Habakuck 13.04.2011, 06:22

Ah, ok. Danke.

Auch gut! =)

Geschrieben von: Kenshiro 13.04.2011, 06:53

Kommt aus China: http://www.qihoo.com/ http://www.360.cn/

Geschrieben von: Steinlaus 13.04.2011, 07:22

Wie man aus Wilders entnehmen kann wird bereits an einer englischen Übersetzung gearbeitet!
Und wieder mal die Bitdefender Engine und ihre eigene Software bekommen die nicht gebacken!

Geschrieben von: Gregor 13.04.2011, 08:06

Die Software an sich hat nicht viel mit der Engine zu tun, das ist eine ganz andere Entwicklung, deshalb hat BitDefender diese enorme Probleme, die Engine an sich ist ja recht gut und wird von vielen anderen Fremdherstellern genutzt, die Software-Programmierer dagegen bekommen das Produkt und seine Funktionen nicht in den Griff.
Das eine Geschäftsleitung das über so einen langen Zeitraum mitmacht ist schon seltsam.

Ohh, jetzt war ich aber mächtig Off-Topic, Sorry...

Was meine Einschätzung ein wenig unterstützt ist die Tatsache das Vipre gar nicht so schlecht darsteht.

Geschrieben von: flachbrot 13.04.2011, 08:29

?? Test verwechselt ??

Geschrieben von: florian5248 13.04.2011, 08:35

Danke Kenshiro, dann bin ich jetzt auch im Bilde und werde es nicht probieren wollen.

Grüße

Geschrieben von: Gregor 13.04.2011, 08:48

Warum???

Geschrieben von: flachbrot 13.04.2011, 08:51

War Vipre Bestandteil des AV-C Tests ??
Habe ich was überlesen ?

Geschrieben von: Gregor 13.04.2011, 09:08

Du hast Recht, ich meinte den RAP-Test.
Ich werde alt

Geschrieben von: flachbrot 13.04.2011, 09:09

*g* nicht nur DU

Geschrieben von: Habakuck 13.04.2011, 11:27

Seit ich das mal mit getestet habe bin ich der Meinung das es sogar die beste AV Engine ist die momentan auf dem Markt ist.
Würde daher gerne mal ein gutes BD engine AV sehen...

Bullguard war O.k. aber halt auch leider nicht so 100%tig das was ich mir vorstelle da es zu wenig Konfiguration bietet.

PS: Bei Wilders munkelt man ja über ein großes Comeback von BD da die scheinbar bald ein völlig neues Produkt auf den Markt bringen wollen. Und zwar for free...

Geschrieben von: Advocatus-diaboli 13.04.2011, 12:00

Hinsichtlich Eset hat der Support-er bereit ein kurzes Statement abgegeben

Quelle CG:

hxxp://www.computerguard.de/topic.php?t=3725&page=last#last_post

Er hat mitgeteilt noch eingehender auf diesen Test einzugehen.
Ich sehe bisher keine Veranlassung an Eset zu nörgeln.:-)

Geschrieben von: Enthusiast 13.04.2011, 12:57

Ausser das Downloads, nach dem eigentlich Download , sehr lange brauchen, bis sie endlich fertig heruntergeladen wurden.

Geschrieben von: flachbrot 13.04.2011, 13:39

Heruntergeladen waren sie somit ja schon, blos noch nicht von ESET geprüft ! Oder täusche ich mich da ?

Geschrieben von: Anubis 13.04.2011, 14:00

Ich meinte eigentlich auch eher die Schwächen, die NOD schon immer hatte, bei Trojanern und Backdoors. Wo findet/ fand hier eine Weiterentwicklung statt ?
Die Testergebnisse jedenfalls zeigen wie ich finde eindeutig, hier hat sich von Seiten ESET nichts getan.

Geschrieben von: Advocatus-diaboli 13.04.2011, 14:21

Wen die Weiterentwicklungen interessieren der nehme das Handbuch zur Hand.

Ich dachte bei Rokop gibt es keine Prozente-Reiter.

Recht hat er !

Geschrieben von: blueX 13.04.2011, 18:01

Ich möchte wissen, warum ihr euch diese On-Demand-Tests überhaupt noch anguckt?

Niemand mehr testet alte Autos (auch wenn sie noch fahren mögen) - solche Signaturtests sind doch nicht in der heutigen Zeit mehr aussagekräftig ...

Geschrieben von: SebastianLE 13.04.2011, 18:09

Es ist eben noch immer die "Währung", die in der Öffentlichkeit am meisten wirkt. Und die meisten schauen auch nur auf die Tabellen, obwohl in den Reports & der Methodologie von AV-C offen einiges zur eingeschränkten Gültigkeit steht.
Ganz spannend finde ich aber immer die Reaktionen - weil sie doch bei manchen je nach Abschneiden des Lieblingsproduktes, ganz anders ausfallen
Gleiches gilt für die Reaktionen der Hersteller. Da sind im "sauberen Testset" dann ganz viele Files von irgendwelchen Heft-CDs, man behauptet aber der Normalverbraucher würde damit nie in Verbindung kommen.

Geschrieben von: Anubis 13.04.2011, 20:04

wo hab ich das nur schoneinmal gelesen

Geschrieben von: Ricard 13.04.2011, 20:43

In meinen Augen haben die OD-Tests durchaus ihre Berechtigung, sind wichtig und geben durchaus Aufschluss über die Qualität eines AV.
Alles nur auf die 100-Sample-Dynamik-Tests zu schieben ist gefährlich. Dafür ist die Stichprobe viel zu gering, die Auswahl oft zu einseitig und die Methodologie fragwürdig (siehe einige Reports von AV-Test.org).
Außerdem sollten die Millionen-Files aus den OD-Tests ebenfalls vom OA-Guard erkannt werden. Meistens sind die Samples auch nicht zu alt, werden z.T. generisch/heuristisch erkannt, was auch eine proaktive Wirkung hat.

Daher auf beides schauen, die vermeintlich alten Signaturen/Heuristiken müssen nicht vermeintlich alt sein und schützen durchaus den Endverbraucher in einem nicht zu unterschätzenden Maße.

Geschrieben von: BlackDevil 13.04.2011, 23:28

Ein HIPS bietet allemal mehr Schutz wie ein klassisches AV Programm, und auch ausreichend bei der richtigen Konfiguration des Systems .

Ergebnisse eines On Demand Tests mit 99,8% Erkennung bringen eine trügerische Sicherheit und sind Augenwischerei. Eine Berechtigung und gewisse Aussagekraft über die Qualität haben sie trotzdem,aber nicht überbewerten und abwägen, denn was hilft mir ein AV Programm das bei der Erkennung von Zero-Day Malware versagt? Wen es um neue Malware geht Erkennen AV`s, auch aus eigene Erfahrung nur ca. 30-50% der Viren. Ein HIPS schütz da wesentlich effektiver.
Deswegen AV als Zweitmeinung oder Ergänzung Ja, möchte ich auch nicht verzichten, neben einem HIPS, Sandbox oder Systemvirtualisierungs-Programm.

Geschrieben von: flexibel44 14.04.2011, 11:13

Und wie ist er ausgefallen?

Geschrieben von: Advocatus-diaboli 14.04.2011, 14:05

So is es !
Das kompensiert dann auch wie bei Kaspersky (Sandbox) die 1.3 % zur 100% Erkennung.
Ob nun ESET oder Kaspersky.
Könnte sie jederzeit empfehlen.

Übrigens:
ESET hat ein HIPS. :-)
DDDDDoccccchhhhhh.:-P

In der Version 5 sollen auch erweitere Optionen hinsichtlich der Einstellungsmöglichkeiten des HUPS eingebaut werden.

Geschrieben von: Ricard 14.04.2011, 14:06

Das stimmt. Allerdings auch für die noch trügerischeren (weil wesentlich kleineren) 100-Sample-Dynamic-Tests.

Klar, Du bist in der glücklichen Lage solche Systeme sinnvoll einsetzen zu können. Die Merheit aber ist schon damit überfordert, überhaupt irgendein AV zu installieren (geschweige denn richtig zu bedienen - Stichwort Pop-Ups).
Damit bleibt es beim alten Dilemma: HIPS schützt diejenigen, die es in der Regel sowieso nicht brauchen

Geschrieben von: Schattenfang 14.04.2011, 14:15

Ergebnis für ikarus ist online: 98,1 % und sehr viele fps. naja, für alle, die ikarus immer an der weltspitze sehen...

und ja, ich weiß dass man auch dieses ergebnis nicht überbewerten darf. ist ja nur ein test

Geschrieben von: metabolit 14.04.2011, 15:19

Test: hxxp://wwww.av-comparatives.org/images/stories/test/single/detection/ikarus_single_feb2011.pdf

109 FPs = WAU

Geschrieben von: flachbrot 14.04.2011, 15:34

Was jetzt ?

HIPS oder HUPS ??
Oder HUPS ein HIPS ??

Geschrieben von: Krond 14.04.2011, 16:07

Ähm, Ikarus <> EAM

Ikarus ist nur ein Teil von EAM, falls du auf EAM anspielen wolltest.....wenn nicht, dann vergiss mein Posting.

Geschrieben von: SebastianLE 14.04.2011, 17:23

Jein - grundsätzlich könnte man dir zustimmen, sofern man Punkte wie Verbreitungsgrad etc. außer Acht lässt.

Solange man aber, aller sorgfältiger Qualitätssicherung zum Trotz, bei solchen Riesen-Samplesets nie die 100% festlegen kann (ist alles real Malware, ist alles lauffähig?), sondern einen unbekannten - von einigen Herstellern mit 2,5 - 5% bezifferten - Haufen an Datenmüll mitschleppt, ist es vermessen die gesamte Prozentuierung (und dann noch mit Nachkommastellen) auf diese Gesamtmenge zu beziehen.

So weiß ich nur, dass die 99,xx Kandidaten auch einen Haufen harmlosen Müll erkennen (=verdeckte FPs), aber nicht ob z.b. ein 97,5% Kandidat exakt die reale Malware findet und blos den Müll nicht - oder eben 2,5% Malware nicht und allen Müll, oder irgendwas dazwischen.


Auch ohne Sandbox wird verhindert, dass unschädliche oder nicht-lauffähige Sachen das System infizieren. Und solange der User nicht alles in der Sandbox startet verhindert die auch nix.


HUPS...self defined Host Unseen Protection System

Geschrieben von: Ricard 14.04.2011, 17:52

Volle Zustimmung. Kleinliche Prozentdreherei ist bei solchen Dingen nicht wirklich zielführend - gilt quasi für alle Tests. Mir ging es nur um den - in meinen Augen -"gefährlichen" Trend, dass es mittlerweile viele User gibt, die den OD-Tests mit Millionen an Files viel weniger Beachtung schenken, als den Dynamik-Tests mit z.T. 20- 100 Samples. Bestes Beispiel ist AV-Test.org, die sogar eine solche Gewichtung vorleben.

Geschrieben von: SebastianLE 14.04.2011, 18:24

Hier bin ich voll deiner Meinung. Beides wird überbewertet.
Diese dynamischen Minitests sind interessant (finde ich interessanter als die Massenscannerei), weil sie zeigen wie manche Produkte noch reagieren können, wenn die Signatur nicht mehr greift.

Da wird dann aber leider der Fehler gemacht die Sachen entweder auf mehr als die x getesteten Samples zu verallgemeinern (was allenfalls für Samples mit exakt demgleichen Verhalten zulässig wäre) oder Produkte generell in den Himmel zu loben (sieht man z.B. an den Leuten die an allen Stellen HIPS rufen und im Zweifel doch auf "erlauben" klicken). Aber hier traue ich AV-C und auch AV-Test bei den dynamischen Tests definitv zu, festzustellen ob etwas a.) überhaupt Malware ist, und b.) wann etwas erfolgreich geblockt wurde und wann ein System sauber ist. Man darf gespannt sein. Die ganzen Youtube-Boys verwenden dazu ja abenteuerlichste, höchst zweifelhafte Methoden, und andere Research Groups mit dynamischen 0day Tests teilen nichtmal die MD5s.

Eine Verrechnung und Gewichtung von dynamic und on-demand ist aber in der Tat wieder die Apfel-Birne Geschichte.
__
Zurück zum aktuellen:
Ist der IKARUS Einzeltest der angekündigte Emsisoft Einzeltest?
Weil m.W. betreibt Emsisoft ja eine zusätzliche eigene FP-Bereinigung und hat auch Ergänzungssignaturen. Also wieder nichts um Emsi mit dem Rest zu vergleichen...

Geschrieben von: Advocatus-diaboli 14.04.2011, 18:42

@sebastianLE

Die Initiative des User ist immer vorausgesetzt.:-)

Geschrieben von: Solution-Design 14.04.2011, 18:47

Sehe da jetzt kein Problem. Die wichtigen Dinge sind topp. Was auch immer other malware/viruses für Zeugs ist. Die FPs sind hoch. Nur Trend übertrifft dies. Trotzdem ist letzterer einer der verbreitetsten Business-Scanner. Aber zu EAM; dies besteht ja nicht nur aus einem Scanner.

Geschrieben von: Steinlaus 14.04.2011, 20:36

Ich dachte auch es gibt mal eine ausführlicheren Emsisoft Anti-Malware Test.... aber wieder nichts!

Geschrieben von: IBK 14.04.2011, 20:41

Ikarus-Ergebnisse sind bzgl. Ikarus-Produkt und nicht auf Emsisoft übertragbar. Es gibt auch Emsisoft-Ergebnisse, aber soweit ich sehe sind die (noch) nicht veröffentlicht.

Geschrieben von: StR@ng3r 15.04.2011, 04:01

Panda scheint mir gar nicht schlecth dazustehen. Gleiches gilt für Trustport.

Geschrieben von: flexibel44 15.04.2011, 04:22

Werden die auf jeden Fall veröffentlicht oder kann der Hersteller auch im Nachhinein eine Veröffentlichigung ablehnen?

Geschrieben von: SebastianLE 15.04.2011, 08:50

Geschrieben von: markusg 15.04.2011, 15:59

@sebastian, welche testorganisation veröffendlicht denn ihre md5s für den leser?

Geschrieben von: SebastianLE 15.04.2011, 16:34

Es geht mir nichtmal um den Leser, dem würde ich das auch nicht unbedingt geben.
Aber einige Scharlatane geben sie nichtmal an die AV-Hersteller bzw. wollen horrende Summen dafür. Aber da gehört AV-C nicht zu und deshalb gehört es nicht hierein.

Geschrieben von: tmas 18.04.2011, 15:14

so, hier kommen die Ergebnisse der Emsisoft Anti Malwaren (5.1.0.4).

Gesamterkennungsrate: 98,4 %
False Positive Test: 127 (very many)

Zum Vergleich Ikarus:
Gesamterkennungsrate: 98,1 %
False Positive Test: 109 (very many)


http://www.av-comparatives.org/en/comparativesreviews/single-product-reviews


Kann jetzt jeder für sich selbst entscheiden ob er das für gut oder schlecht hält. Mir persönlich sind das viel zu viele FP´s. Und deswegen finde ich das Ergebnis schlecht.

tmas

Geschrieben von: Schattenfang 18.04.2011, 15:50

das ist auch nicht gut. und die übliche rechtfertigung, man erkenne dafür ja aber immer 99.x % greift wohl auch nicht mehr. eher ernüchterndes ergebnis für so viel aufstand. ids haben andere mittlerweile auch schon, hab ich gehört. sogar automatisch.

Geschrieben von: J4U 18.04.2011, 16:04

Ach Gottchen,
9 FPs weniger und es hätte bereits ein many gegeben. 109 aus >403000 ist rechnerisch nahezu nichts.
Hätte gar nicht gedacht, dass das Zeug so gut abschneidet.

J4U

Geschrieben von: metabolit 18.04.2011, 16:31

Ist es auch !

Geschrieben von: SebastianLE 18.04.2011, 16:45

Über 95% bei einem Paket mit unbekannter Fehlergröße ist doch grundsolide - nichts schlechtes
Und die FPs - ist doch bekannt und verwundert nacht dem IKARUS Ergebnis auch nicht wirklich.

Geschrieben von: markusg 18.04.2011, 16:48

welche programme sind denn überhaupt in diesem clean set? sind die neu oder schon alt? auf wie vielen pcs trifft man diese denn überhaupt an.
wenn es nur auf wenigen pcs ist, dann kann man diese fp rate, die recht hoch erscheint, getrost bei seite lassen denke ich

Geschrieben von: Schattenfang 18.04.2011, 16:54

nur weil da ein paar funktionsunfähige samples drin sein könnten gehen hier einige aber ganz schön runter mit den anforderungen.


ist das etwa ein pro-argument?

Geschrieben von: markusg 18.04.2011, 16:58

da aber niemand sagen kann, wie viel ein paar sind, sollte man die latte tiefer ansetzen.
und natürlich ist es ein argument, wenn die ikarus engine schon 109 fehlalarme liefert, kann man ja wohl kaum erwarten das es bei emsi + ikarus engine weniger werden.

Geschrieben von: Schattenfang 18.04.2011, 17:02

das ist kein argument wenn man bewusst auf so eine engine setzt. es gibt auch andere beispiele, in denen unternehmen zwar fremdengines einsetzen, aber deutlich weniger fp´s haben als das original. alles machbar. 129 sind viel zu viel. und für diese aggressivität die erkennungsrate viel zu niedrig. das erinnert an die ersten avira-zeiten. mit dem unterschied dass die damals wirklich alles an malware zusätzlich rausgefischt haben.

Geschrieben von: markusg 18.04.2011, 17:08

naja, wenn das statement von eset zutrifft welches ich irgendwo gelesen hab sind in dem clean set ziemlich alte programme dabei, die keiner mehr nutzt, oder zu mindest so wenig leute, dass sie kaum eine rolle spielen.
und zu avira, die haben zwar 99 % in den meisten tests, aber meistens sinds avira nutzer, die mit infizierten pcs in den foren aufschlagen

Geschrieben von: Steinlaus 18.04.2011, 17:17

Die Gesamterkennungsrate von 98,4 % ist gar nicht so übel.
Es gibt Software die erkennt weniger! z.B. AVG 91,4%, Symantec 95.5% usw..
Was die FP´s angehen die liegen mit 127 entscheidend zu hoch. Obwohl ich in den letzten Tagen keine einzige hatte.
Habe auch keine 403000 malware samples auf meinem Rechner.

Geschrieben von: flexibel44 18.04.2011, 17:20

Der minimale Unterschied zwischen Ikarus und Emsi überrascht mich auch, wenn man bedenkt, was oft für ein "Bohai" um EAM gemacht wird.

Geschrieben von: markusg 18.04.2011, 17:22

naja ich denke man kann sich niedrigere erkennungsraten bei signatur tests ruhig leisten, wenn man denn andere schutz module hatt die das auffangen.

Geschrieben von: drei-finger-joe 18.04.2011, 17:26

Deine Logik ist bestechend! Aber der wirkliche Grund ist dir wohl nie in den Sinn gekommen, oder?

1. Gibt es Kaspersky, Norton, G-Data usw. als Free-Version? Nein. Deswegen ist AntiVir auch das am meisten genutzte AV in Deutschland.

2. Diesen Dilettanten kannst du installieren was du willst, die sind immer infiziert.

Geschrieben von: Schattenfang 18.04.2011, 17:31

avira ist das beste und sauberste programmierte av überhaupt. ist in der branche intern längst bekannt und bisher kaum erreicht.

Geschrieben von: SebastianLE 18.04.2011, 17:41

Wo gehe ich runter? Meine Anforderungen sehen ehrlich gesagt so aus, dass ich AVs nicht traue die in diesem Set 99+ % erkennen. Bezüglich des alten Testsets gab und gibt es, wie mehrmals erwähnt, Aussagen und Schätzungen von AV Herstellern, dass da 2,5 bis 5% Müll drin ist. Zum neu gestalteten Set kenne ich solche Schätzungen zwar nicht, dennoch...

Das "Bohai" hat mich auch immer gewundert, aber das Ergebnis zeigt doch, dass das Programm bei reaktiver Erkennung durchaus auf einer Wellenlänge mit anderen Großen liegt - nicht mehr, nicht weniger. Und das ist doch auch was - oder? Hier muss sich EAM nicht verstecken!
Und wer das Programm länger nutzt, der weiß auch um die FP-Problematik (auf Seiten von Emsi und von Ikarus, also nicht nur auf Ikarus schieben ). Von daher war das kein "pro" Argument - aber auch keine Überraschung. Warum da einige so entsetzt sind wundert mich.


Na ja, dieses ESET Statement halte ich für extrem albern: Auch ein altes Programm was sauber ist, darf nicht als FP erkannt werden. Und wenn dann gesagt wird "stellenweise Packer mit denen ONV nie in Berührung kommt" - gleichzeitig im AV-C Report steht, dass es Programme überwiegend von irgendwelchen HeftCds sind...
Naja - keine Ahnung ob IBK auch die erkannten Sachen aus dem FP-Testset den Herstellern zur tieferen Analyse zukommen lässt. Solange man nichts darüber weiß, kann man auch hier nur spekulieren.

Geschrieben von: Schattenfang 18.04.2011, 17:50

würd ich auch sagen wenn ich die wäre. das was die hersteller im nachhinein sagen ist wohl noch unglaubhafter, als das der testorganisation selbst. 5% wären über 20.000 defekte samples.


wo denn? ich sehe hier kein gleichziehen mit anderen. eine sehr unsauber codierte engine mit vielen fps und einem ids welches expertentum voraussetzt. vergleichbar mit norton, fsecure, gdata, symantec?

Geschrieben von: SebastianLE 18.04.2011, 17:54

Und? Nicht verwunderlich bei dieser Menge. Die Hersteller bekommen die Samples und ich traue Experten durchaus mehr bei der Analyse zu als AV-C, sorry ist so.

€: Aber erstaunlich wie du aus den Ergebnissen Sachen über die Programmierung der Engine herauslesen kannst, irre.

Geschrieben von: markusg 18.04.2011, 17:54

woher hast du diese aussage denn, das avira am saubersten programiert ist...
die schaffens ja nicht mal aktieve tdl infektionen zu erkennen, und das obwohl es dieses rootkit ja schon lange gibt.
- genauso whistler.
und einige andere bootkits.
und 20000 defekte in so einem relativ großen test set ist schon denkbar.
wenn av-c nur automatisch die samples analysiert und klassiviziert kommen da sicherlich einige falschmeldungen und defekte dateien hinzu.
da die hersteller dann die, augenscheinlich schlechten ergebnisse erklären müssen, setzen die sich dann hin und gehen die samples durch und da fällt so was natürlich auf.
außerdem weis ich von einigen herstellern, das sie, befor solche tests starten, möglichst viele fps fixen, damit man eine schön niedrige zahl erreicht.

Geschrieben von: Schattenfang 18.04.2011, 17:57

die esets, aviras und fsecures analysieren also nach so einem test ganze 403.000 samples, nur um 2,5-5% datenmüll zu finden? das braucht doch wochen.
die analysieren höchstens ihre fps, in dem sie signaturen wegnehmen. und danach erstellen sie einen bericht auf der homepage mit solchen zahlen.

Geschrieben von: Schattenfang 18.04.2011, 17:59

kann ich nicht. ich kenne die engine.

Geschrieben von: SebastianLE 18.04.2011, 18:23

Nein, die irgnorieren i.d.R., dass sie auch Müll erkennen und machen sich oft nur die Arbeit dann die von ihnen Nicht-Erkannten zu analysieren.

Hier mal eine Aussage zum Februar Set von 2010 (Ist im Internet veröffentlicht, deshalb kann ich es hier wiedergeben. Andere Beispiele bringe ich nicht):
"Unter den Unmengen Dateien im Testset fanden wir mehrere Zehntausend saubere Dateien. Mehr als 60% der angeblich von uns nicht erkannten "Bedrohungen" waren Keygens, Cracks, chinesische Toolbars - einfach "normale Software"... in früheren Tests war die Anzahl der sauberen Dateien ähnlich hoch..."
Die Aussage stammt von einem gewissen E.K., der auch noch etwas über die Quellen von Marx und Clementi sagt und wie man, wenn man darauf aus wäre 99% erreichen könnte, warum man dieses Spiel dennoch z.T. mitmacht etc.... (http://www.anti-malware.ru/forum/index.php?showtopic=12727&st=20&p=101081&#entry101081)


Dann schreibe z.B. Fabian Wosar mal, was da wo unsauber programmiert ist.

Geschrieben von: Schattenfang 18.04.2011, 18:30

aha, ziemlich unseriös würd ich sagen. muss ich e.k. kennen? wenn du jetzt eugen kaspersky meinst, dann ist das ganze noch unseriöser.


was kann er denn daran ändern? das ist das werk von ikarus. und die wissen das selber. da sind ja auch experten beschäftigt, so ist das ja nicht.

Geschrieben von: Steinlaus 18.04.2011, 18:34

Was mich mal wirklich intressiern würde ist vieviel von den 403.000 Samples wirklich Computer-schädigend sind !!!

Geschrieben von: markusg 18.04.2011, 18:45

naja da glaube ich lieber "e.k" der für die untermauerung seiner aussagen ein ganzes team hinter sich hatt und bestimmt auch bestätigung von anderen herstellern bekommt.
inoffiziell habe ich da auch schon einiges negatives über das test set von av-comp gehört, das es früher zb schlecht sortiert war etc. es sich aber stark gebessert hatt.
stark gebessert heißt aber natürlich nicht das es perfekt ist. und deswegen kann es keine verlässlichen ergebnisse liefern

Geschrieben von: SebastianLE 18.04.2011, 18:52

Erich Kästner ist es nicht, und unter diesem Nick schreibt in den russischen Foren nur einer. Natürlich wissen die auch bei AV-C von der Problematik und arbeiten daran - das sollte man nicht unterschlagen!

Wenn du das was "sehr unsauber codiertes" entdeckst, denke ich schon, dass ihn es interessiert und er es weitergeben kann. Oder war hier etwa die Luft etwas heiß?

Genau darum geht die ganze Argumentation. Und das kann niemand sagen - also weiß niemand was 100% sind, was die Basis für die übrigen Prozente sein soll... Man könnte jetzt aus statistischer Perspektive noch sowas wie den üblichen Stichprobenfehler bringen - auch da wären wir bei ca. 2,5%. Ganz praktisch könnte man noch fragen, wieviele der Samples nur im Labor existieren...(externe Relevanz?) Ist eben alles realtiv zu sehen.

Ich würde von daher die on-demand Ergebnisse von AV-C immer auch relativ interpretieren: Alles über 95% Ok, Rangfolgen sind in diesem Bereich irrelevant und unsicher. Übrigens wird auch im Report dementsprechend zu vorsichtiger Interpretation geraten - die öffentliche Wahrnehmung, Konzentration auf die bloßen Prozente und darausfolgende Rangfolgendenkerei ist eigentlich das Hauptproblem - nicht der Test.

Geschrieben von: Alexausmdorf 18.04.2011, 18:54

Ich darf daran erinnern, dass Avira vor gar nicht so langer Zeit auf Windows 7 64 bit Systemen massenweise Bluescreens verursacht hat, und das Dateisystem auf Windows 7 Rechnern korrumpiert hat, sodass bei jedem Systemstart eine chkdsk Reparatur desselben fällig war.
November 2009.
Und es gab einige, bei denen das System gar nicht mehr hochgefahren ist.

Also einfach so weg zu behaupten, dass Avira das Nonplusultra ist, ist doch kompletter Humbug. Die haben und hatten ebenfalls starke Probleme, vom Support möchte ich gar nicht sprechen, das chkdsk Problem konnte mehrere Wochen nicht gefunden werden und während man im Englischen Forum noch Support gegeben hat, wurden im Deutschen Threads geschlossen und gelöscht, mangels Antworten der Mods.
Also so heilig, wie du hier Avira darstellst, sind die nicht.

In erster Linie kritisierst du, dass es auf diesem Board viele EAM User gibt, die einen "Bohai" um das Produkt machen, und dann machst du im nächsten Comment dasselbe mit Antivir?

Geschrieben von: ube 18.04.2011, 19:00

Guten Morgen DACH-Region,

die False Positives von Ikarus/Emsisoft sollten aus meiner Dilettantensicht nicht ueberbewertet werden.

Mit relativ hoher Wahrscheinlichkeit handelt es sich bei der weit ueberwiegenden Zahl der False Positives um eindeutige Riskware und um den ueblichen Content irgendwelcher Heft-CDs und Freewareseiten.

Im Alltag verzeichne ich mit EAM seit vielen Monaten keine peinlichen False Positives mehr. Und wenn EAM auf ein neues Release eines Nirsoft Tools sauer reagiert, wird das Tool in die Liste der Ausnahmen aufgenommen und es ist Ruhe.

Keine Ahnung, ob es fuer ein kleines Unternehmen wirtschaftlich ist, alle Risk- und Freeware individuell zu pruefen und gegebenenfalls auf die White List aufzunehmen.

Die False Positives von EAM sind aus meiner Sicht das kleinere Uebel gegenueber den haeufigen Bluescreens diverser Security-Suiten mit hohen Scores von AV-Text.org (oder sollte man das Zeug besser Bluescreen-Generatoren nennen?).

Geschrieben von: Schattenfang 18.04.2011, 19:01

ok, danke, weiß ich bescheid.


hab ich nicht, lies bitte genauer.


hab ich nicht, lies bitte genauer.

übrigens nutze ich selbst emsisoft auf einem laptop. 2 jahres-lizenz. aus keiner promo. und avira würde ich nie nutzen.

ich hoffe dass zerstört jetzt nicht das weltbild.

Geschrieben von: Alexausmdorf 18.04.2011, 19:16

Naja, wie ist der Satz denn dann zu verstehen? Wenn jemand ein AV als "das beste" beschreibt, und noch dazu ohne jegliche Argumentation, außer mit der Anführung, dass es am saubersten programmiert sein soll, dann stellen sich mir die Zehennägel auf, vor allem, da es nicht das 1. Mal ist, dass Avira Bluescreens en masse verursacht hat. 2007 war auch so ein Jahr.
Aber sicher war damals MS schuld, haben die doch tatsächlich Windows upgedated.

Außer, du meinst, dass es das bestprogammierte AV überhaupt ist, was ich auch bezweifle, da ich mir nicht vorstellen kann, dass du Zugriff auf den Sourcecode aller AVs hast, und daher schwer beurteilen kannst, wie sauber welches AV programmiert ist.

Das anhand der False Positive Rate erkennen zu können wage ich auch zu bezweifeln.
Nix für ungut. Bin kein EAM Nutzer und verteidige EMSI hier.


@Topic:
Bin auch Sebastians Meinung, dass man nicht zuviel Gewicht auf solche Tests legen sollte. Generell nicht, egal welches AV man hat. Vor allem dieses 1.2.3. Platz und Schulnotenvergabe ist komplett fehl am Platz. Das sagt doch selbst AV-C in seinen Tests.

Geschrieben von: Schattenfang 18.04.2011, 19:22

ja, das meinte ich. vielleicht sollte ich bestprogrammierteste mit sauberprogrammierteste tauschen. und nein, ich habe keinen zugriff auf den sourcecode. und ja, vor bluescreens schützt das auch nicht automatisch.

dass man nicht zu viel gewicht auf die tests legen sollte sehe ich ganz genauso.

Geschrieben von: markusg 18.04.2011, 19:33

und wie kannst du denn ohne den sourcecode überhaupt beurteilen welches av schlecht oder gut programiert ist?

Geschrieben von: Schattenfang 18.04.2011, 19:42

entweder man glaubt mir, oder nicht. mehr habe ich dazu nicht zu sagen.

aber ganz so im raum will ich es trotzdem nicht stehen lassen. immerhin gibt es jemanden, der dazu mal öffentlich ein paar anmerkungen gemacht hat. zum beispiel herr pedersen von immunet:

http://www.wilderssecurity.com/showpost.php?p=1818062&postcount=15
http://www.immunet.com/main/index.html

der hat auch erfahrung mit symantec und co. es lassen sich im netz noch andere statements von experten zu diesem thema finden. aber die such ich jetzt nicht raus. über alles andere stillschweige ich.

Geschrieben von: Ricard 19.04.2011, 16:02

Ich kann mir schon vorstellen, dass Avira in Sachen Programmierung und Codierung eine hohe Qualität besitzt. Die Engine-Struktur scheint nicht durch viele Ausnahmeregeln belastet zu sein.

Was das Emsisoft-Ergebnis anbelangt: Klar, es sind definitv ein paar FP´s zu viel. Aber rein von der OD-Erkennung her gibt das Programm doch ein gutes Bild ab. Jetzt noch mehr Tests in anderen Bereichen und dann kann wirklich das Vergleichen stattfinden. Aber leider wird es wohl ein Single-Test bleiben, wenn ich das richtig verstanden habe?

Geschrieben von: Solution-Design 19.04.2011, 18:41

Na, das ist doch mal 'ne Ansage.




Ach ja, vorstellen kann man sich viel. Man kann sich auch vorstellen, dass die von Eset vertriebenen Programme, in Assembler geschrieben, State of the Art sind und die in Delphi getipperten emsisoft anti-malware, Ikarus doch woanders einzureihen sind

Zu EAM gibt es zumindest ein kleines Fazit. Die Erkennung ist in den wichtigen Bereichen sehr gut. Die FPs halten sich auf Arbeitssystemen in Grenzen und wenn ein Problemchen in dieser Hinsicht auftaucht, lässt sich dies schnell beheben. Die Performance wird besser werden und es gibt einen sehr gut funktionierenden Behaviorblocker. Das größte Plus des Programmes, das größte Manko der Konkurrenz.

Wenn es dann noch mal klappt, dass ein Signatur-Update so wenig zu spüren ist, wie bei Eset; dieses dann auch inkrementell arbeitet, DLLs aus Performance-Gründen nicht ausgeklammert werden müssen, die Server etwas stabiler laufen...

Geschrieben von: Schattenfang 19.04.2011, 18:50

vielleicht sollten wir ibk vorschlagen dass er den nächsten fptest auf "arbeitssystemen" macht. vielleicht verschwinden sie von geisterhand? das ids ist prima, stimmt. deswegen und nur deswegen nutze ich emsisoft selbst. aber ein manko bei der konkurrenz sehe ich hier nicht. zumindest nicht bei allen. einige kriegen das sogar ohne interaktionsfreude hin.

Geschrieben von: Solution-Design 19.04.2011, 19:24

Das, was du da jetzt erzählst ist ja Quark. Die FPs sind da. Die dazugehörigen Programme kann man sich anschaun. Ich verwende davon auf meinen Arbeits-PCs kein einziges. Andere suchen vielleicht gerade solches Zeug. Von daher ist der Test ok, die FPs sind real. Da gibt es nichts dran zu rütteln. Dennoch ist es mir zumindest wichtig, das Winlogon nicht bei Systemstart gelöscht wird... Irgend 'n Exotikpack ist mir wurscht. winlogon... war da nicht was?



Aber nicht mal im Ansatz so gut. Und ein bissel Text lesen, dann klicken... nein das ist nicht schwer.

Geschrieben von: Schattenfang 19.04.2011, 19:32

nein, aber verstehen muss man das doch auch solution. du kannst das, ich kann das und die meisten von rokop/ wilders wohl auch. aber das wars dann schon mit der glückseligkeit. leider gibt es auch noch nicht ein so weit verbreitetes community-feedback zu einzlenen programmen, oft ist der balken grau.
mag sein dass viele fps eventuell exotischer natur sind. entschuldigt das aber trotzdem nicht und verringert nicht die wahrscheinlichkeit, dass es andere dinge treffen kann. aber das ist in erster linie nicht emsisofts schuld. das liegt an der engine von ikarus. das einzige was hier fehlt: auf ne vernünftige engine wie bd umsteigen und zusätzlich sowas wie ne qualitätskontrolle einbauen. dann klappt´s auch mit den nachbarn.

Geschrieben von: Solution-Design 19.04.2011, 19:43

Meinen Nachbarn installiere ich Symantec. Kein Scherz. Und dann bin ich glücklich

Geschrieben von: Schattenfang 19.04.2011, 19:47

glaub ich dir sofort. das ist ja der punkt den ich meinte. wenn emsisoft noch höher will müssen sie diesen weg früh oder kurz einschlagen. oder zumindest mit einkalkulieren.

naja, emsisoft bleibt auf laptop weiterhin für restlaufzeit. trotzdem hoffe ich dass sie die engine wechseln und mehr automatische regeln erstellen.

Geschrieben von: SebastianLE 19.04.2011, 19:57

Zustimmung bei Teil 1 dieser Aussage, Teil 2 würde ich ablehnen.

Einige FPs gehen sogar auf das Konto der A2-Engine und so billig ist die Lizenzierung der BD-Engine auch nicht. Ich finde es auch nicht verwerflich, dass da die "Ösis" zusammenhalten. Außerdem ist das Leben kein Wunschkonzert, wo man sich externen Reinrednern mit fadenscheiniger Argumentation beugt. Und überhaupt liegen die FPs an der Engine oder zu "groben" Signaturen - erklär mal...

Aber man sollte doch nicht den Blick für das Wesentliche verlieren: Bei der Signaturerkennung von einem nicht genau bestimmbaren Berg an Malware, hat EAM mit hoher Wahrscheinlichkeit sehr gut absgeschnitten. EAM als Produkt ist relativ jung und ich betrachte es als "work in progress", als Entwicklung die durchaus in eine interessante Richtung gehen kann (auch im Zusammenwachsen mit OA etc.)

[Stichelmodus an]
Warum jammert eigentlich niemand über die vielen (v.a. verdeckt als Erkennung deklarierten) FPs von GData und Trustport? Trotz BD. (Vorsichtige Schätzung als Rechenbeispiel: 97,5% im Set sind echte, lauffähige Malware, 99,8% werden erkannt. D.h. mindestens garantierte 2,3 % Fehlererkennung. Bei der Menge darf sich jeder die Zahlen ausrechnen...)
[/Stichelmodus aus]

Geschrieben von: Schattenfang 19.04.2011, 20:07

an beidem. das weißt du aber auch, oder spielen wir hier das spiel, wir fragen den schattenfang??


weil es nicht an der bd-engine liegt. siehe die ganzen single-bd-engine-produkte.

Geschrieben von: SebastianLE 19.04.2011, 20:27

Ach probieren darf ich's doch? Nimms mir nicht übel

Das wäre jetzt ein Argument, leider nur fast.
Denn: Wenn nur 97,5% echte Malware im Paket wären (Schätzung gestützt durch a.) frühere Analysen, s.o., b.) Statistik (Standardfehler)) - was kann ich aus den Prozenten lesen?
Sicher nur Eines: Das der 99,8% Kandidat definitv mind. 2,3% Schrott erkennt. Der 97,6% Kandidat (BD) könnte die 97,5% echte Malware erkennen und nur 0,1% Schrott, oder auch die kompletten 2,5% Schrott und nur 95,1% der echten Malwware - alles dazwischen ist auch möglich. Komplex, komplex.
___
Nochmal zu Emsisoft. Was man - auf jeden Fall - anrechnen sollte:
a.) Man hat sich (z.T. wahrscheinlich auch auf Druck) an dem Spiel beteiligt, was auch einiges gekostet hat.
b.) Man nimmt somit an einem anerkannten (einem der hierzulande anerkanntesten) Test teil und stellt sich diesem (mit all seinen Schwächen). IMO besser als so manches was man sonst als Test bei Emsisoft angegeben hat.
c.) Man schneidet - bis auf die FPs - vergleichbar gut ab. Höher als so manch etablierterer vendor.
d.) Man behält das Ergebnis, trotz der FPs nicht für sich, sondern veröffentlicht es und kommuniziert es offen.
Das ist doch einiges Und verstecken muss man sich mit diesem Ergebnis sicher nicht.
Und warum soll das Ergebnis jetzt so schlimm sein? Hier hat es doch niemand dazu benutzt um EAM in den Himmel zu heben, dass das Produkt auch seine Schwächen hat (wie andere auch) ist doch jedem bekannt der sich damit ernsthaft beschäftigt.

Andere (z.B. Comodo) reden noch immer nur davon und bringen Scheinargumente.

Geschrieben von: Habakuck 19.04.2011, 20:33

Das ist meiner Meinung nach das Wichtigste!
Denn nur so generiert man Vertrauen und das ist, mir jedenfalls, mittlerweile das Wichtigste an einem AV Hersteller.

Geschrieben von: Schattenfang 19.04.2011, 20:35

ja alles in ehren was du sagst. sind sehr viele soft-punkte dabei. ich rede lieber über fakten. nur durch lob kommt man auch nicht weiter. und da es hier ja sonst keiner macht sorge ich mal für ein wenig ausgleich und blicke nach vorne. wenn mir das programm so egal wäre, würde ich das nicht schreiben. und ich hätte es nicht für 2 jahre gekauft, um sie dabei zu unterstützen.

Geschrieben von: Fabian Wosar 19.04.2011, 21:08

Ich hab ein wenig überlegt ob ich zu dem Thema überhaupt etwas beitragen sollte, aber letztlich ist es eh eine "Doomed if you do, doomed if you don't" Situation. Zu den Fehlalarmen kann ich nicht viel sagen. Nicht weil ich nichts sagen möchte, sondern weil AV-C bei Einzeltests keinerlei Informationen herausrückt über verpasste Samples oder Fehlalarme. Ich weiß letztlich ebenfalls nur die Zahl der Fehlalarme genau wie alle anderen von Euch auch.

Das Einzige, was ich zu den Fehlalarmen im Allgemeinen sagen kann, ist, dass die neue Engine in EAM 6.0 einige Features mit bringt, die dafür sorgen, dass Fehlalarme auf Home PCs weniger werden. Das wird zwar nicht zu einem besseren Abschneiden in Tests führen, aber zumindest der User wird weniger Probleme mit Fehlalarmen haben.

Unser Signatur Update arbeitet seit Version 1.0 inkrementell.


EAM 6.0 sollte da massive Abhilfe schaffen. Bei IKARUS steht eine Überarbeitung der Updates zumindest auf der TODO Liste.


In letzter Zeit gab es häufiger DDoS Attacken gegen unsere Infrastruktur. Soweit ich weiß versuchen wir da grade eine Lösung zu finden um zusammen mit unserem Hoster die Angriffe zu mitigieren. Während früher vielleicht ein Angriff im Monat statt fand, der die Server kaum gejuckt hat, schlagen mittlerweile 1 - 2 Mal die Woche Angriffe bei uns ein die auch zunehmend aggressiver werden. Die letzten heftigen DDoS haben dann schon mal Teile der Update oder der Foreninfrastruktur zum Wanken gebracht.


Da gibt es unterschiedliche Meinungen. Wenn ich mich richtig erinnere hat Rokop früher auch mal Vergleichstests gemacht und Kaspersky hat es auf seine News Seite gepackt. Das die Testmethoden da nicht immer einwandfrei waren, hat niemanden interessiert. MRG und PCSL sind letztlich weniger schlecht als ihr Ruf. Zumindest hat sich von denen nach einem Test bislang niemand geweigert Informationen über verpasste Samples oder Fehlalarme rauszurücken.

Geschrieben von: Schattenfang 19.04.2011, 21:13

sehr schön!

heftig. ich glaub man kann sich das garnicht ausmalen wieviele angriffe täglich auf die it-securitybranche gestartet werden. hoffe ihr findet ne gute lösung.

Geschrieben von: J4U 19.04.2011, 23:03

Ach was, wenn Du da ein paar Schillinge rüberschiebst, dann wirds die Informationen schon geben.

J4U

Geschrieben von: Solution-Design 19.04.2011, 23:09

Danke für die Richtigstellung. Frage: Was unterscheidet EAM im Signatur-Update von anderen AVs, so dass ab und zu die komplett bereinigte Signatur-Datenbank neu heruntergeladen werden muss?

Geschrieben von: Fabian Wosar 19.04.2011, 23:15

Das kommt stark darauf an. IKARUS lädt die komplette Datenbank herunter wenn Du eine gewisse Anzahl an Updates verpasst hast, es einen Fehler beim Diff Download gab oder aber alternativ sie große Änderungen an der Datenbank vorgenommen haben (Dateiformat Änderungen z.B.). Bei unseren Signaturen ist das letzte komplett Update schon sehr lange her. Aber es kann vorkommen, dass große Teile der Datenbank neu geladen werden, wenn wir die Signaturdaten ausmisten und Erkennungen, die nicht mehr notwendig sind, deaktiviert werden. Natürlich wäre ebenfalls ein komplett Update notwendig, wenn wir uns entschließen sollten das Dateiformat zu ändern.

Geschrieben von: Taurus 19.04.2011, 23:17

Du musst bedenken, dass EAM einfach mehr bietet. Das IDS, die ansprechendere Oberfläche, besserer Support, besserer Wächter, eigene zweite Engine.

Geschrieben von: markusg 20.04.2011, 12:24

naja man weis ja sowieso nicht wie viele erkennungen quasi doppelt gewesen währen, wie viel also die emsi engine allein erkannt hätte, nur weil hier 0,3 % mehr erkennung sind, heißt das nicht automatisch das die a2-engine nur 0,3 % der malware erkannt hätte.

Geschrieben von: Taurus 20.04.2011, 12:43

Ich hoffe, dass man diesen Fehlalarmfilter auch abschalten kann. Für den Durchschnittsanwender mag es ja gut sein, jedoch die PowerUser wollen die volle Kontrolle.

Geschrieben von: scu 20.04.2011, 13:03

Wieso wollen Poweruser denn Fehlalarme haben?
Rennfahrer wollen doch auch nicht, dass ihr Airbag andauernd fälschlicherweise auslöst, oder irre ich mich?

Geschrieben von: Ford Prefect 20.04.2011, 13:12

Wo ist der "Gefällt-mir-Button"?

Geschrieben von: Schattenfang 20.04.2011, 13:13

ich glaub er meint ein av, was alles weghaut und bei 99,9 % aller dateien den user um erlaubnis bittet. der fp-filter ist quasi der nutzer. das hab ich mir auch schon immer gewünscht. wenn man sonst nix zutun hat

Geschrieben von: Taurus 20.04.2011, 13:19

Ich mag nichts, was zu Kosten der Erkennung geht. Es ist nämlich leicht möglich, dass der Fehlalarmfilter zu Lasten der Erkennung geht.

Geschrieben von: Fabian Wosar 20.04.2011, 13:27

Das Feature ist komplett abschaltbar, allerdings bezweifle ich das Du es abschalten wirst. Die Reduktion der Fehlalarme ist im Endeffekt nur ein Seiteneffekt. Der Hauptaspekt ist simple Performanceoptimierung und wird in der oder ähnlicher Form auch von anderen Produkten genutzt.

Das Prinzip ist folgendes: Es macht keinen Sinn Dateien auf Deinem Rechner zu scannen, die sich schon seit Monaten auf Deinem Rechner tummeln, da diese höchstwahrscheinlich ohnehin clean sind. Entsprechend führen wir Log über die Ergebnisse aller gescannten Dateien. Wenn wir dann sehen, dass eine Datei innerhalb eines bestimmten Zeitfensters niemals auffällig war, beginnen wir unseren vorherigen Scanergbnissen für diese Datei zu vertrauen. Statt die Datei beim nächsten mal zu scannen, überprüfen wir statt dessen mit Hilfe kryptographischer Hashes ob die Datei modifiziert wurde. Falls nicht, gehen wir davon aus das die Datei auch weiterhin sauber ist und scannen sie gar nicht erst. Falls doch beginnt quasi eine neue Periode in der wir die Datei wieder scannen solange bis sich die Engine wieder sicher ist, dass die neue Version der Datei nicht infiziert ist. Der Integritätscheck anhand der Hash ist um vieles schneller und CPU schonender als der eigentliche Scan, was sich insbesondere bei Echtzeitscans bemerkbar machen wird.

Die Implikation für Fehlalarme ist letztlich folgende: Sobald eine Datei einmal im "Integrity Checking" Modus ist, wird sie nicht mehr gescannt. Fehlalarme, die auftreten für diese Datei, bekommt der User also niemals mehr zu Gesicht. Fälle in denen Windows Dateien z.B. als infiziert gemeldet wurden und bei denen man im schlimmsten Falle sein System geschrottet hat, sind dadurch nach einer Eingewöhnungsphase ausgeschlossen.

Das System hat auf die Verhaltensanalyse übrigens keinen Einfluß. Also selbst für den Fall, das Malware sich über Wochen auf dem System befand und nie entdeckt wurde, wird nicht der komplette Schutz deaktiviert. Wir überlegen auch die Daten aus dem Cache in einem zukünftigen Schritt optional in der Cloud zu sharen um daraus dann Reputationsdaten zu gewinnen um diese für Verhaltensanalyse, das HIPS und halt auch für Erstscans nutzen zu können, ähnlich wie dies mittlerweile von recht vielen anderen Herstellern praktiziert wird.

Geschrieben von: Habakuck 20.04.2011, 13:56

Wenn ihr das nicht eh schon vorhabt möchte ich einen Wunsch äußern:

Das von dir erläuterte Caching-System sollte für einen on-demand scan abschaltbar sein.

Geschrieben von: Fabian Wosar 20.04.2011, 13:58

Lies den ersten Satz meines Postings .

Geschrieben von: Habakuck 20.04.2011, 16:00

Hatte ich. =) Dachte das bezog sich auf den Echtzeit-Schutz...

Ich finde caching nämlich gut wenn es für Echtzeit- und Quick-Scans betrieben wird sich aber für Fullscans abschalten lässt... Dachte mir schon, dass ihr das bereits so plant aber lieber einmal zu viel wünschen...

Geschrieben von: Solution-Design 20.04.2011, 16:33

Ups, hatte ich doch Recht? ikarus arbeitet mit differenziellen Signatur-Updates, während zum Beispiel Eset inkrementell arbeitet? Was für mich jetzt ein Grund wäre, dass ab und zu eine bereinigte komplette Datenbank zum Download angeboten wird.

Wie dem auch sei, ein Performace-Schub bezüglich DLLs scheint in Sicht; wünsche mir diesen allerdings auch bei Signatur-Updates. Wenige KB dauern manchmal recht lange, belasten dabei sogar das System recht stark.

Zu den FPs. Es gibt Programme, welche FPs bei Standard-Software bringen; es gibt Programme, wie EAM, welche diese nur bei selten benutzter Freeware zeigen. Mit letzterem kann ich leben, auch wenn ich mir eher Null-FPs wünsche.

Wäre die Nutzergemeinde bei EAM größer, dann gäbe es sicher auch weniger FalsePositive. Wie dem auch sei, verglichen mit den Anfangszeiten, sind die FPs bei jetzigem Stand eher klein.

Und mal ehrlich... Den Behaviorblocker etwas abschwächen = weniger Nutzereingaben bei minimal geringerem Schutz, das sehe ich als Alternative an. Ist zwar dann immer noch kein Symantec, aber schon recht easy.

Geschrieben von: SebastianLE 20.04.2011, 17:33

Sehe ich nicht so. Danke für die Beiträge! Interessant.
@IBK: Welche Logik steht hinter solch einer Ungleichbehandlung???
Hier wärme ich nichts auf - unterschiedliche Meinungen, für die es auf beiden Seiten Argumente gibt, eben. Wobei - so schlecht wie ihr Ruf (zurecht!) kann die MRG kaum sein. Aber dennoch denke ich, dass ein AV-C Test eine seriösere Währung und "Werbung" ist als z.B. SSUpdater...

Geschrieben von: scu 21.04.2011, 21:33

Neues von AV-Comparatives:

'New bar graph of Whole Product Dynamic "Real World" Test with preliminary results (March) is online. We are still improving the graph.'
http://www.av-comparatives.org/en/comparativesreviews/dynamic-tests

Geschrieben von: ciacomo 21.04.2011, 22:11

erledigt
VG

Geschrieben von: SebastianLE 23.04.2011, 21:07

Aus Interesse PUSH:

@IBK: Welche Logik steht hinter solch einer Ungleichbehandlung???

Geschrieben von: IBK 23.04.2011, 21:29

vertraglich im vornherein so festgelegt. bei single tests ist und wird das immer so bleiben, auch um eventuellen missbrauch zu vermeiden (z.b. um rogue av und unseriöse hersteller vorher auf deren verhalten usw. zu beobachten bevor sie für die großen tests berücksichtigt werden).

Geschrieben von: Solution-Design 23.04.2011, 21:34

Wobei es ja nicht schwer sein sollte, die FPs zu beheben. Man nehme die FP-Topseller, schaue sich an, welche Programme betroffen sind und dann ran an die Buletten.

Geschrieben von: claudia 24.04.2011, 00:00

Überzeugt mich nicht! Dürfte ein Geld Argument sein. Wer nur ein Teil bezahlt bekommt auch nur ein ein Teil der Info.
Meine Meinung. Sorry.

Geschrieben von: emsi 24.04.2011, 09:11

Sorry, diese Argumentation versteh ich nicht. Wie könnten wir z.B. eine Liste der FPs (und seien es nur die Namen der falsch erkannten Programme) mißbrauchen?

Wenn nicht erkannte Samples zurückgehalten werden, damit nicht jemand einfach die MD5s in die Signaturen einpflegt, seh ich das ja noch ein. Aber die Infos über FPs können meiner Meinung nach maximal dazu beitragen, die Qualität der getesteten Produkte zu verbessern. Was ja nun auch nicht gerade verkehrt wäre, zumal die Tests auch Geld kosten und die langfristige Verbesserung der Produkte den Usern zugute kommt (War das nicht mal der eigentliche Sinn von Test Agenturen??).

Ich seh hier auch irgendwo langsam ein Glaubwürdigkeits-Problem. Da es keinerlei verifizierbare Informationen zu den Ergebnissen gibt, könnten diese genausogut willkürlich 'gewürfelt' worden sein.

Oder überspitzt gesagt: Wer testet und überprüft die Tester/Tests?

Da schimpf noch einmal jemand über MRG und PCSL... Von denen bekommen wir nach den Tests immer verläßlich die verpaßten Samples und FPs. Die Ergebnisse sind in der Regel auch durch Offenlegung der Hashes von jedem verifizierbar. Selbst beim VB100 erhält man jedes Mal ohne Nachfrage die FP Samples.

PS. Schöne Ostern! Und sorry, dass ich wieder mal zu direkten Worten greifen muß.

Geschrieben von: J4U 24.04.2011, 09:29

Sorry, aber ich sehe hier ein Schlechter-Verlierer-Problem.

J4U

Geschrieben von: flachbrot 24.04.2011, 10:36

Sehe ich auch so....oder sollte lieber "EMSI" AV-C euch noch helfen eure Software besser zu machen ?
Ich glaube nicht, daß es an AV-C liegt, dass ihr es vermasselt habt eure FP's in den Griff zu bekommen.
Andere Hersteller schaffen es doch auch !

Geschrieben von: claudia 24.04.2011, 11:36

Wenn ich mit meinem Auto einen "Urlaubscheck" (bezahlt) mache und die Werkstatt sagt sie haben 5 Probleme
wir sagen aber nicht welche, käme ich mir verarscht vor.
OK AV-C sagt das die Bedingungen bekannt waren, aber richtig nachvollziehen kann ich die Argumente nicht.
Fader Beigeschmack bleibt.

Geschrieben von: Ford Prefect 24.04.2011, 11:45

dann braucht man ja nicht zu jammern, wenn man misses und fps nicht erhält.
Den Vertrag wird man bei emsi ja wohl gelesen haben.

Tester wollen/müssen/sollen natürlich Geld verdienen (genauso wie AV- Hersteller).

Und Nachfrage nach deren Angebot scheint ja zu bestehen.

Geschrieben von: flachbrot 24.04.2011, 11:54

Wenn die Bedingungen vorher bekannt waren, oder sogar vertraglich geregelt,
dann hat es für mich einen faden Beigeschmack, wenn sich einer der Vertragspartner
nacher negativ über die Bedingungen äußert, wenn "das Kind in den Brunnen gefallen" ist.

Ich würde an EMSI's Stelle den Bericht akzeptieren und versuchen es besser zu machen.

Mal was generelles..zu EMSISOFT (meine persönliche Meinung / möchte auch niemanden zu nahe treten, da ich die genauen Hintergründe nicht kenne).
Ich berichte mal aus der Sicht eines längjährigen Beobachters.

Meiner Meinung nach hat EMSISOFT ein wenig den Fokus ihrer Arbeit verloren.
Noch vor nicht all zu langer Zeit ist und war EMSI ein sehr gutes Indie-AV Programm,
welches von den Insidern geschätzt und geliebt wurde. Es hat also seine absolute Daseinsberechtigung.

Nun sehe ich, daß EMSI immer mehr versucht den Mainstreambereich zu bedienen.
Es scheint (nur eine Vermutung) aber an finanzieller- und Manpower zu fehlen um diesen Kraftakt zu stemmen.
Aus Marketing Gründen ist daran ja nichts auszusetzen, aber wenn man sich an solch ein Projekt wagt, muss man
sich auch über die Außmahe im klaren sein.

In meinen Augen war es auch ein Fehler OA zu übernehmen. Der Fokus scheint von EMSI sehr auf diesem Punkt zu liegen und man
hat das tägliche Busniess ein wenig "schleifen" lassen.

Man sollte nun wieder die Kraft auf das wirkliche Standbein des Unternehmens richten und nicht über einen "vergeigten" Test lamentieren.
Dann bin ich sicher, daß EMSI wieder in gewohnter Qualität zurück in die Spur findet.

Geschrieben von: drei-finger-joe 24.04.2011, 11:55

Jammert Christian über die Bedingungen, die sicherlich im Vertrag stehen, oder über die Begründung, die möglicherweise nicht im Vertrag steht!?

Geschrieben von: Ford Prefect 24.04.2011, 12:21

1. "jammern" war nicht böse gemeint.
2. Wurden die Bedingungen akzeptiert, sind die Begründungen doch unnötig bzw. irrelevant.

Es sei denn, die Angaben, die hier öffentlich gemacht werden (egal von welcher Seite), wären "unsauber".

Geschrieben von: Taurus 24.04.2011, 14:29

Ich denke, man sollte die Ergebnisse von irgendwelchen obskuren Briefkastenlaboren nicht überbewerten.

Geschrieben von: Ford Prefect 24.04.2011, 14:38

Nur weil mir grad langweilig ist:
Wen meinst Du damit?

Geschrieben von: 240670 24.04.2011, 16:14

Man könnt Ihr euch an den Ergebnissen hochziehen. Entweder man nimmt die so hin oder vergisst die wieder. Jeder Tester testet anders das steht fest,der eine so und der andere eben anders. Hauptsache man hat was drauf,als Schutz. Als Privatanwender werden wir mit Sicherheit nicht groß angegriffen. Also man nimmt einfach ein Programm womit man sich wohl fühlt und was auch läuft ohne Fehler und fertig. Die Signaturen von den Anbietern sind fast alle gleich. Gut der eine kann das besser der andere eben etwas anderes. Da schreibt Ihr alle euch die Finger wund und findet kein ende. Das finde ich schon sehr lustig. Es sind kaum Anregungen dabei was man ändern könnte, Hauptsache man schreibt etwas und steht hier drin.
Macht Euch lieber Gedanken und zieht Euch nicht gegenseitig runter. Denn jeder sollte seiner Meinung freien lauf lassen.

Geschrieben von: Ford Prefect 24.04.2011, 17:08

Mir geht es nicht um das Ergebnis für Produkt x oder y.
Das es schwierig ist, ein Testkonzept zu erstellen das sinning, praktikabel und "fair" ist, ist mir auch klar.
Das ist ein av-c-Thread. Und da find ich manchen post, gelinde gesagt, zumindest drollig bis trollig.

Geschrieben von: uweli1967 24.04.2011, 17:30

Ich kann 240670 nur zustimmen und ihn verstehen hier wird teilweise eine Show wegen dem av-c Test abgezogen und User sind hahe dran sich zu befeinden das es nimmer schön ist Denkt ihr, mit euren Postings erreicht ihr etwas bei av-c? Ich glaube nicht und wirklich schlechte Virenschutzprogramme gibt es heutzutage doch fast keine mehr wenn man ein etwas bekanntes Programm nimmt. Lieber Norman, Rising oder meinetwegen K7 als AV auf den PC haben als normaler User als gar kein Virenschutzprogramm.

Geschrieben von: Solution-Design 24.04.2011, 18:08

Fazit Teil 1
@emsi hat sicher nicht Unrecht, aber Vertrag ist Vertrag. Und diesen kennt man spätestens bei Unterzeichnung. Was nicht heißen soll, dass man trotz Unterzeichnung damit einverstanden sein muss oder sich verpflichtet, einen Maulkorb zu tragen.
Teil 2
Das Ergebnis bezüglich Erkennung ist gut, dass der FPs schlecht.
Teil 3
Irgendwie haben wir @emsi zu @IBK getrieben und nun kennen wir das Ergebnis.

Als Nutzer habe ich jetzt nicht die Blauäugigkeit zu glauben, dass dieser Test ein Produkt verbessert/verbessern soll. Dafür ist der Hersteller zuständig und nicht ein unabhängiges Testlabor.

Geschrieben von: emsi 25.04.2011, 07:57

Dass es sowas wie einen Standard-Vertrag gibt, habe ich erst nach dem Test erfahren. Die Abmachung, beim Feb-Test mitzumachen enstand aus einem Vorschlag hier via PM (um sinnlose Diskussionen wie diese hier zu vermeiden) sowie darauf folgenden Emails. Vertrag gab es dafür keinen.

Mir war nicht bekannt, dass eine Test-Ausgliederung des Main-Tests bedeutet, dass die Bedingungen gänzlich andere sind. Die Teilnehmer des Main-Tests erhielten ja auch z.B. eine FP-Analyse und andere wertvolle Goodies. Hätte ich gewußt, dass ein Einzeltest eine quasi nutzlose stupide Zahlenaufstellung ist, hätte ich dem Test natürlich nie zugestimmt. Dass wir Top-Erkennung kombiniert mit FPs haben, wußte ich auch schon vorher.

Über das Ergebnis beschwere ich mich auch in keinster Weise. Natürlich hätte ich mir weniger FPs gewünscht, zumal wir in diesem Bereich in den letzten Monaten enorme Fortschritte gemacht haben, aber ich akzeptiere das Ergebnis wie es ist.

Was ich mir vorwerfen lasse ist, dass ich selbst die älteren Einzeltests nicht im Detail analysiert hab um daraus die 'Testbedingungen' abzuleiten. Ja, das hab ich verpaßt, sorry.

Ich sehe durchaus den Sinn von Test-Agenturen darin, dass sie den Herstellern mit Ihren Testergebnissen helfen, die Produkte besser zu machen. Ich bin für Kritik jeder Art offen, aber Kritik muß zumindest zu einem Minimum begründet werden und Probleme müssen reproduzierbar sein. Ansonsten können die Tester auch gleich her gehen und drauf schreiben "Ne, gefällt uns nicht, ist daher schlecht". Wenn ich nicht erfahre, was genau ich schlecht gemacht habe, wie soll ich es dann verbessern?

- Waren es z.B. über 100 verschiedene Signaturen die hier etwas entdeckt haben oder nur einige wenige, die jeweils eine hohe Anzahl von Dateien erkannt haben?

Im ersten Fall wäre das Testergebnis wesentlich besorgniserregender als im zweiten. Wenns nur eine Signature war, die für den Großteil der FPs verantwortlich war, ok, shit happens, dann hatten wir einfach nur das Pech, zum Test-Zeitpunkt eine fehlerhafte Signatur draußen gehabt zu haben.

- Waren unter den FPs veraltete nightly builds von Programmen, die heute so gut wie niemand mehr einsetzt?

Das würde zwar nicht über die Tatsache der FPs hinwegtäuschen, aber solche FPs haben in der echten Welt unserer Kunden keine nennenswerte Relevanz. Über unsere Submit-Systeme erfahren wir in der Regel innerhalb von Minuten von kritischen FPs und beheben sie umgehend. Wenn ein Programm aber derart selten eingesetzt wird, dass es auch niemand mehr submitten würde, bleibt der FP evtl über einen längeren Zeitraum online. Hier haben Hersteller mit größerer Nutzerbasis eindeutig Vorteile.

- Waren unter den FPs irgendwelche PUAs (potentially unwanted applications) wie Cracks, Keygens, Adware Programme, etc.?

Das denke ich zwar nicht, aber eine Liste der Anwendungen die erkannt wurden, würde hier Aufschluß geben.


Fragen über Fragen, auf die ich leider von AV-C keine Antworten erhalte...

Geschrieben von: IBK 25.04.2011, 08:11

- verschiedene signaturen die FPs verursachen (zwar nicht 100 verschiedene, aber jedenfalls mehrere)
- keine nightly builds
- keine PUAs

Geschrieben von: emsi 25.04.2011, 08:18

Vielen Dank für die Auskunft.

Konkret wie viele?

Dass es mindestens 2 gewesen sein müssen, kann man allein durch die unterschiedliche Anzahl bei Ikarus ableiten.

Kannst du bitte wenigstens eine Liste der Malware Namen zur Verfügung stellen? Ohne Hashes, ohne Paketnamen. Dann könnten wir wenigstens feststellen, ob es sich um bekannte Major FPs handelte.

Geschrieben von: IBK 25.04.2011, 08:30

du verlangst eine extrabehandlung/dienste die es auch bei andere single tests nicht gibt.

Geschrieben von: emsi 25.04.2011, 09:02

Edit: Unüberlegtes Posting gelöscht.

Geschrieben von: J4U 25.04.2011, 09:16

War es nicht so, dass Ihr aus Geiz-Gründen nicht an den Main-Tests teilgenommen habt?
Ich könnte es nachvollziehen, dass einer, der mehr bezahlt, am Ende auch mehr bekommt.

J4U

Geschrieben von: Schattenfang 25.04.2011, 09:51

Ich kann nicht glauben dass AVC und Emsisoft auf der simplen Grundlage einer Rokop-PM ohne weiteren folgenden Schriftverkehr und unterschriebenen Vertrag mit AGBs etc. diesen Test vollzogen haben. Wenn ich so etwas unterschreibe dann trete ich auch nicht nach und beschwere mich nicht im nachhinein darüber. Ein wenig Sportlichkeit tut der Sache wohl au8ch nicht schlecht

Geschrieben von: flachbrot 25.04.2011, 09:52

Sry...aber mir scheint das ein persönliches "DING" zwischen EMSI und IBK zu werden.
So etwas finde ich unter Erwachsenen kindisch und unter Unternehmern sogar "peinlich".

Geschrieben von: IBK 25.04.2011, 10:28

Hallo,

dieses Mail ist allgemein, es bezieht sich nicht auf Emsisoft, sondern auf alle Hersteller, die Single-Tests buchen. Da aber einige Fragen aufgetaucht sind, wollen wir die hier mal beantworten.

Wie jeder, der die Foren verfolgt, weiß, geben wir Misses und FPs nur an die teilnehmenden Hersteller der Maintests weiter. Das hat einen ganz einfachen Grund. Die Ergebnisse der im Maintest vertretenen Hersteller werden auf jeden Fall ein ganzes Jahr veröffentlicht, egal ob sie schlecht oder gut abschneiden. Diese werden auch das ganze Jahr durch getestet und veröffentlicht, ohne Rücksicht auf Ergebnisse. Bei den Single Tests kann sich das nach dem Test jeder Hersteller aussuchen, ob es veröffentlicht wird oder nicht, und auch ob er danach nochmal getestet wird. Single Test Ergebnisse werden außerdem auch für manche Zertifizierungen hergenommen, daher achten wir darauf, dass Hersteller nicht durch Zusatzinfos sich auf das Testset optimieren um die Zertifizierung im zweiten Anlauf ungerechtfertigt zu erlangen. Daher sind unsere Single Tests auch schwieriger zu bestehen als bei andere Zertifizierungsstellen.

Wir sehen unsere Aufgabe nicht darin, Herstellern EINMALIG zu helfen, dass diese z.B. mit dem simplen Einpflegen von Hashes ihre Erkennungs- bzw. FP Rate kurzfristig verbessern. Wenn wir das machen würden, führt es nur dazu, dass es beim nächsten Test auf unser Testset bezogen die alten Fehler ausgebessert sind, das Produkt aber im Prinzip nicht verbessert wurde, sondern immer noch die gleichen Schwachstellen aufweist. Mit Ausnahme der eingepflegten Samples.

Manche andere Labore gehen da anders vor und stellen den Herstellern nach dem ersten Durchlauf die Hashes/Samples zur Verfügung und „retesten“, erst danach wird veröffentlicht. Das machen wir nicht. Wir finden daher unsere Ergebnisse näher am User. Und genau der steht bei uns im Mittelpunkt, der User, nicht der Hersteller (obwohl uns dafür einige Hersteller gerne erwürgen würden).

Wir sehen viel mehr unsere Aufgabe darin, den User zu informieren und gezielt den Finger auf die Wunde zu legen und den Herstellern zu sagen, „hier besteht Handlungsbedarf“, hier sollte verbessert werden. Um die Optimierung seines Produktes muss sich schon der Hersteller kümmern. Es gibt viele Quellen, wo man Samples usw. kommerziell herbekommt (frame4, virustotal, usw.). Aber wichtig ist auch eine gute Heuristik und ein eigenes Honeypotnetz mit den entsprechenden Analysten dahinter. Klar, der Personalaufwand ist dementsprechend hoch, den kann man aber auch nicht auf ein Testlabor abschieben. Ein AV-Produkt braucht laufend Pflege und Verbesserung sowie Innovationen im Bereich der verschiedenen Technologien. Nur mit dem Einpflegen von Samples ist nicht getan. Das würde nur vielleicht kurzfristig den Hersteller helfen und nicht den User langfristig.

Wir versuchen da gar nichts persönlich zu nehmen, wir sind hier nur um ein wenig Aufklärung bemüht, damit es hier nicht zu Missverständnissen kommt.

Geschrieben von: Alexausmdorf 25.04.2011, 10:37

Naja, irgendwo kann man beide Seiten verstehen, und von persönlichem Kleinkrieg sehe ich da nichts, beide Seiten diskutieren und haben gute Argumente und dafür ist ein Forum wohl da.

@all:
Finde eher diese Meinungsrülpser einiger User hier schwach, die auf der einen oder anderen Seite stehen und kräftig in die jeweilig andere Richtung treten, ganz ohne Argumente.

Man kann Emsi vorwerfen, sich die Details zu wenig angesehen zu haben, man kann avc vorwerfen, dass der Test wirklich nichts sagend ist, selbst für die Enduser.

Argumente, dass Emsi ein Underground Produkt ist, und sich besser auf seine Poweruser konzentrieren sollte, finde ich sehr weit hergeholt. Jedes Unternehmen fängt mal unten an, und jedes will Gewinn erwirtschaften, je mehr User man hat, selbst im "Underground", desto mehr Personal muss man einstellen, das ist ein selbstrollender Stein. Was anderes zu glauben ist einfach nur naiv.
Und alle hängen sich an dem einen Blatt / pdf auf. Dass Emsi als junges Unternehmen bei der Erkennungsrate weiter ist, als so mancher Dinosaurier, zeigt mir, dass die Testresultate nicht so negativ sind, wie sie von einigen hier dargestellt werden.
Und dass aufgrund der fehlenden Ressourcen und kleineren Community das Produkt nicht so ausgereift ist, wie bei der schon älteren Konkurrenz, zeigen die FPs.
Dass sich hier derartig viele an so einem 2Zeilentest aufhängen können, hätte ich mir nicht gedacht, schon gar nicht hier, ist ja nicht das Chip.de Forum hier.

Geschrieben von: SebastianLE 25.04.2011, 10:48

Ich finde die Sache gerade spannend und sehe nicht wirklich persönliche Sachen, sondern ein paar interessante Grundsatzfragen Konzentrieren wir uns mal auf den "Kern"

@IBK:
Danke für die Erklärung. Ich kapiere das Argument dahinter leider nicht wirklich. Wenn die Angst ist, dass sich an das FP-Testset angepasst wird... die Elite der Dauerteilnehmer darf das wohl, bzw. ist das Set insgesamt so unflexibel? Da werden 100tausende Malwaresamples gesammelt aber immer ein einigermaßen frisches, sauberes FP-Testset zusammzustellen geht nicht?
Vertrag hin oder her, ohne die Offenlegung zumindest für die getesteten Hersteller, könnte man das Ergebnis wirklich als absolut willkürlich ansehen. Und das zieht jetzt eure Glaubwürdigkeit in meinen Augen wirklich kräftig herunter. Ist das ganze jetzt eigentlich voll AMTSO kompatibel ??
Das es auch aus geschäftlichen Gründen evtl. eine Vorteilsbehandlung für die Dauerteilnehmer gibt wäre ja OK, aber so sollte das nicht aussehen. Dann solltet ihr in Single-Tests eben nicht das Komplettprogramm an Tests bieten, anstatt nur Sachen nicht offenzulegen bzw. für die Beteiligten nicht nachvollziehbar zu machen.

Das Argument mit der "Veröffentlichungsfreiheit" ist zwar nachvollziehbar, aber auch hier könnte man doch vertraglich flexibler sein:
- Singletestszenario 1: Wie bisher...vendor darf veröffentlichen wenn er will, dafür gibts keine Details um irgendwas nachvollziehbar zu machen
- Singletestszenario 2: Veröffentlichungspflicht/Veröffentlichung durch euch. Dafür gibt es für den vendor Details zum nachvollziehen.

__
Weiter gesponnen:
(1) Ich scanne meine Festplatte mit EAM - 127 Fehlalarme. Welche das sind verrate ich nicht, schließlich sollen sie bei Emsisoft ihre Hausaufgaben erledigen. Mein Ergebnis poste ich aber überall und behaupte eine "wahre FP-Schleuder" gefunden zu haben. Ist das Ergebnis nachvollziehbar? - Nein. Bekam ich Geld dafür? - Nein. Wird man mir glauben? - Eher auch Nein. Man wird mich der Willkürlichkeit bezichtigen.

(2) AV-C scannt ein vornehmlich sauberes Set und stellt bei EAM 127 Fehlalarme fest. Welche das sind wird nicht verraten, schließlich sollen sie bei Emsisoft ihre Hausaufgaben erledigen. Veröffentlicht wird es (auch auf Wunsch von Emsisoft, bzw. aus Offenheit!) Ist das Ergebnis nachvollziehbar? - Nein. Bekam man Geld dafür? - Bestimmt. Wird man AV-C glauben? - Eher Ja. Schließlich hat man einen besseren Ruf. Wer wagt es diesen Teiltest als willkürlich zu bezeichnen?

Komisch...

Geschrieben von: Schattenfang 25.04.2011, 10:50

Kanns langsam nicht mehr hören: jung, dynamisch, lieb, sympathisch und wenig Geld und sonstwas. Wir sind hier doch nicht bei einer Singlebörse. Hier gehts nicht um die Bewertung einer Unternehmenshistorie, einem Leitbild und Öffentlichkeitsarbeit, schon gar nicht um die Bewertung von Einzelpersonen, hier geht es schlichtweg um Fakten aus einem Test und um eine Software. Mal so ganz leidenschaftslos.
Wenn einige bezüglich der Ergebnisse enttäuscht sind, sagen sie es halt. Geschieht bei Norton, geschieht bei trendmicro, geschieht bei Kaspersky. Nur bei Emsisoft darf das auf Rokop nicht passieren.

Geschrieben von: Solution-Design 25.04.2011, 10:56

Doch, aufgrund der damaligen Diskussion ist das genau so vorstellbar.



Die Bedingungen bringt man nun mal vorher in Erfahrung. Punkt. Außerdem besteht immer noch die Möglichkeit, am Gesamttest teilzunehmen. Dann werden auch solche Dinge bekannt.



Abgesehen davon, dass ich solche OnDemand-Tests sowieso nur zu Unterhaltungszwecken betrachte und diese nicht meine Programm-Nutzung beeinflussen (das sehen manche anders), erwarte ich als Nutzer nicht, dass so lange an einem Programm herumgewuselt wird, bis irgendwelche Testergebnisse bei irgendwelchen Test-Argenturen stimmen. Aber so scheint ja die Realität zu sein.



Entweder am Gesamt-Test teilnehmen um genau bei diesem Test besser abzuschneiden (was ich persönlich für Nonsens und Kundenverarsche halte, deshalb auch meine Einstellung zu solch 99,9 %-Kandidaten), oder so, wie es immer gemacht wird. Analyse.



Ich sehe das bezüglich "permanenter Pflege des Produktes" genau so. Sehe aber auch jetzt erst richtig die Gefahren in eurem Main-Test. Produkt optimieren auf die Testbedingungen hin. Was soll ich von einem Produkt halten, welches seit Jahren mit Informationen gefüttert wird und eine nur um 0,2 % bessere Erkennung aufweist, als ein Produkt, welches ausnahmsweise mal mitmacht? Sieht fast so aus wie "ein auf Testbedingungen hin optimiertes Produkt gegen eines, welches diese nicht kennt und ehrlich zeigt, was es kann".



Die jetzt geklärt sein dürften.








Edit: gepimpt

Geschrieben von: IBK 25.04.2011, 11:01

@Solution-Design: die bei den main-tests bekommen zwar die misses, aber beim nächsten test (nach 6 monate) ist kein einziges dieser zuvor verwendeten samples im testset enthalten, da das testset nur aktuelle samples enthält die danach aufgetaucht sind.

Geschrieben von: Solution-Design 25.04.2011, 11:04

@IBK

Danke für die Korrektur bezüglich misses. Bei FPs, trifft das auch für FPs zu?


Und noch mal zur Korrektur: So ist wenigstens gesichert, das Programm a, welches besser als b abgeschnitten hat, auch wirklich besser ist. Kapiert.

Geschrieben von: Schattenfang 25.04.2011, 11:05

AVC ist nicht dafür da bei Hausaufgaben zu helfen sondern zu schauen ob sie gemacht worden sind. Stiftung Warentest schickt auch keine neue Bauanleitung für Waschmaschinen zu den Herstellern zurück wenn da was falsch läuft. Und wie transparent sind Tüv-Untersuchungen? Z.B. für Fahrstühle: Da gibts nen Stempel oder nicht. Wenn nicht, dann bekommst du höchstens gesagt, was nicht gut war. In diesem Fall zu viele FP´s.
Wenn man AVC oder einem Unternehmen generell nicht traut nehme ich an sowas nicht teil. Dass AVC aber bei den Main Tests diese Transparenz aufweist (nur halt nicht bei den Singletests) sollte man nicht vergessen.

Geschrieben von: IBK 25.04.2011, 11:16

nein, aber FP tests werden alle 6 monate gemacht

Geschrieben von: Solution-Design 25.04.2011, 11:34

@Schattenfang

Ich denke nicht, dass man ein TÜV-Siegel mit einem solchen Test vergleichen kann. Aber sollte etwas nicht stimmen, dann bekommt man schon sehr genau mitgeteilt, was nicht stimmt. Und zur Stiftung Warentest... Sind das nicht die, welche einen Farbfernsehtest unter anderem bei Telefunken angemeldet haben; Telefunken dann die Bänder stilllegte um sich auf die Produktion genau dieser 5 Geräte zu konzentrieren (welche anschl. nichts mit der Serie gemein hatten)? Google mal ein wenig...

Nein, man sollte jetzt nicht Äpfel mit Birnen vergleichen. @emsi kannte die Testbedingungen nicht. Sein Fehler. Ich habe nun gelernt, das EAM bei einem Main-Test äquivalent abgeschlossen hätte und 6 Monate später vor einem ähnlichen Problem stehen würde (insofern am Produkt und Sig-Einpflegen nichts geändert wurde).

Sich jetzt über die Testbedingungen, beziehungsweise der nicht herausgegebenen Informationen aufzuregen, das ist unsinniges Nachtreten. Was lernen wir daraus? Vorher fragen. Wie so immer im Leben...

Geschrieben von: claudia 25.04.2011, 11:43

at Sebastian

sehe ich auch so.

Natürlich wird es immer Diskussionen von Usern geben die den einen Test als Müll bezeichnen, weil ihr Lieblings Av gerade schlecht abgeschnitten hat und den anderen über den grünen Klee loben wo das Ergebnis gut ist.

Aber was macht den ein Test interessant(gut)? Die reinen Zahlen bestimmt nicht.
Das Ganze hat halt ein Geschäckle und verkommt zur reinen Werbung gegen Bezahlung. Aber so funktioniert halt unser Marktwirtschaft.

P.S. Ich meine das nicht so Negativ wie es jetzt hier rüberkommt .

Geschrieben von: Lurchi 25.04.2011, 12:15

@ IBK:

Mal was anderes: wie sieht es aus mit COMODO? Haben die inzwischen einen Test in Aufrag gegeben. Ich höre und lese da ständig unterschiedliches zu.

Geschrieben von: Solution-Design 25.04.2011, 12:45

Mhmm... Was ist ein Lieblings-AV? Nutzer mit einem bestimmten Hang ein bestimmtes Sicherheitsprodukt zu bevorzugen, gar über den Klee zu loben, die erkennt man recht schnell, wenn sachlich geäußerte Kritik als persönlicher Angriff empfunden wird Sag doch mal eben schnell was gegen G-Data

Und, auch wenn ich persönlich nicht unbedingt etwas vom Darüberrasseln (onDemand) halte, natürlich spiegeln in diesem Falle die reinen Zahlen etwas wider. Nämlich ob Hersteller xyz seine Hausaufgaben gemacht hat. Zumindest haben wir bezüglich der Einzeltests etwas gelernt: Glaubt es oder glaubt es nicht... lautet das Ergebnis.

[attachment=7126:eam_avc.png]

Edit: Hätte, wennste, könnste

Geschrieben von: IBK 25.04.2011, 13:01

bzgl. andere oft gefragte AV's: wie gesagt, bei Einzeltests entscheiden die ob es veröffentlicht wird oder nicht. Einige nehmen seit Jahren an den Single Tests teil (und wir dürfen uns zu Single Tests die nicht veröffentlicht wurden nicht äußern). Diese Hersteller werden es aber wohl erst dann veröffentlichen lassen wenn das Ergebnis von deren Marketingabteilung zur Veröffentlichung freigegeben wird.

Geschrieben von: Oldie 25.04.2011, 16:02

Das ist eben die Kunst der Interpretation!

Geschrieben von: SebastianLE 25.04.2011, 19:49

Ja. Wir sind ja auch nicht in der Position AV-C irgendwelche Vorschriften zu machen. Aber wenn aus dieser Diskrepanz dann eine Unglaubwürdigkeit/Willkürlichkeit entsteht darf das schon kommuniziert werden.

Also - Zusammenfassung der bisherigen Infos:
- Regelmäßige Teilnehmer bekommen FP Details, Single-Test Teilnehmer nicht. Grund: Man könnte sich an die nächsten Tests anpassen, da das FP-Testset nicht immer ein neues ist.
- Conclusio: Regelmäßige Teilnehmer dürfen sich an das FP Set anpassen und tun dies wahrscheinlich auch. Somit darf man um fair zu bleiben die FPs eines Singletest Teilnehmers nicht problemlos mit denen der regelmäßigen Teilnehmer vergleichen. Und das relativiert jetzt die 127 EAM FPs ja etwas.

Geschrieben von: Solution-Design 25.04.2011, 20:22

@SebastianLE

Würde ich jetzt so stehen lassen.