Projekt zu verteiltem Kompilieren

[SeeksTheMoon]

(Dies hier ist eine Kopie des Posts auf Linuxforen.de)

Es gibt ja Initiativen bei denen sich viele Leute z.B. WLAN teilen und es machen auch viele Leute bei Seti und ähnlichem mit.

Gibt es Leute die möglicherweise Interesse daran hätten ein größeres distcc-Netzwerk aufzubauen?

distcc ist ein Dienst, der auf jedem teilnehmenden Rechner installiert wird und sobald man irgendwo einen Kompiliervorgang anwirft, verteilt der Kompilierende Rechner ein paar Daten an die anderen Rechner und jeder kompiliert ein Stück mit. Die Effizienz steigt dabei linear an, d.h. doppelt so viele Rechner halbieren die Zeit.
Homepage: http://distcc.samba.org/

Das wäre ein weiterer Schritt in Richtung "Hardware für alle" und es wäre vor allem mal etwas anderes als seti, folding und was es sonst so gibt, denn von diesen Projekten hat man nicht direkt selber etwas, sondern hilft in erster Linie irgendwelchen Institutionen bei mehr oder weniger sinnvollen Projekten und sammelt vielleicht noch ein paar virtuelle Punkte.
Hier käme die Rechenpower direkt den einzelnen Teilnehmern zugute (Gentoo-User aufgemerkt!).

Hier ist noch ein interessanter Artikel, in dem der Autor z.B. schreibt dass er schon mit 12 Rechnern mit je 500-866MHz die kdelibs in 6 Minuten kompiliert hat, welche Voraussetzungen so ein Netz haben sollte und was man noch tunen kann:
http://www.csh.rit.edu/slashdot/distcc.html

hier steht auch was dazu, was mich eigentlich erst auf den distcc-Trip gebracht hat:
http://www.linuxforen.de/forums/showthread.php?t=141215

Ich würde mal sagen, dass jeder Teilnehmer mindestens 500MHz, mindestens DSL (oder direkt einen Anschluß ans DFN ) und zwecks Binärkompatibilität den gcc aus der 3.3.x Reihe hat. Längere Verfügbarkeit am Tag wäre auch nicht schlecht.
Wer das nicht erfüllt, der muss ein eigenes Projekt nach dieser Art aufmachen, sonst bremst er die anderen aus oder wird ausgebremst

Gute Idee? Schlechte Idee?

[LittleBit]

Hi,
klingt doch irgendwie spannend - vor allem der Installations-/Verwaltungsaufwand scheint begrenzt.

Hat in diesem Zusammenhang schon jemand Erfahrungen mit icc statt gcc gesammelt ? (x86 ist ja inzwischen für einige Fließkommaorgien auch gewappnet)

Gruß,
Tom

PS: Ich denke Du meinst, daß die Leistung (fast) linear skaliert.
Die Effizienz bleibt nahe bei 100% (im Beispiel auf distcc.samba.org 90%). In dem Beispiel lief die Kommunikation allerdings über einen 100MBit Switch - übers Netz dürfte noch das eine oder andere Prozent verloren gehen. Bleibt aber für größere Sourcen sicherlich interessant.

[oracle2025]

Naja, ob das über DSL noch so schnell geht, das es sich lohnt?

[tuxipuxi]

Ich schliesse mich meinem Vorposter an, über DSL dürfte das eher langsamer werden und nicht schneller. Eine Datei zu kompilieren dürfte schneller sein als sie zu übertragen und wieder zu empfangen(ich hab es einmal über DSL getestet, konnte man vergessen).

Michael.

[anda_skoa]

Abgesehen davon das es problematisch wird, wenn die anderen Rechner zur selben Zeit benutzt werden.
Nicht für den der kompiliert, sondern für den der benutzt, denn der hat dann potentiell x Jobs mit zig hundert Megabyte Speicherbedarf am Hals.

Ciao,
_

[LittleBit]

Vielleicht sollte man ein wenig differenzieren.

Daß eine langsame Leitung kontraproduktiv ist scheint klar. Manche Rechner sind aber schneller als DSL angebunden... (bevor Fragen kommen - hab nur ISDN)
Nicht alle Rechner werden primär als Arbeitsplatz genutzt. Die könnten je nach Aufgabe/Hardware durchaus interessant sein.
Ok, viele bleiben jetzt nicht mehr über.

Was mir offen gestanden mehr Kopfschmerzen bereitet ist das Thema Sicherheit. Ist derzeit auch ein großes Thema bei Grid-Computing (ist im Grunde ja sowas im entfernten Sinne). Ich würde mir auf jeden Fall gut ansehen mit wem ich solche Kooperationen eingehen würde.

Gruß,
Tom