Web2Code

Présentation

Le processus de construction de notre jeu de données d’accord d’instruction Web2Code et de génération d’instructions implique quatre composantes clés : (1) Création de nouvelles données de paires image-code de page Web (DWCG). (2) Affinement des données existantes de génération de code de page Web (DWCG_R). (3) Création de nouvelles données de paires de questions-réponses textuelles (DWU). (4) Affinement des données existantes de compréhension de page Web (DWU_R).

Statistiques et Distribution

Comparaison des statistiques du jeu de données parmi les ensembles de données de génération de code de page Web ; WebSight, Design2Code, Pix2Code, notre DWCG et notre DWCG_R.

Distribution des ensembles de données DWU et DWUR. Les deux ensembles de données comprennent des paires question-réponse de haute qualité pour la compréhension des pages Web.

La distribution des balises HTML les plus courantes dans nos données HTML générées par GPT-3.5.

Cadre d’Évaluation

Métrique d’Évaluation pour la Génération de Code HTML

Notre cadre d’évaluation proposé comprend deux schémas : (1) Benchmark de Compréhension de Page Web (WUB) : Une évaluation hors ligne utilisant des questions ‘oui’/‘non’. (2) Benchmark de Génération de Code de Page Web (WCGB) : Une évaluation en ligne (en utilisant GPT-4 Vision) basée sur la similarité des images.

Évaluation Quantitative pour la Génération de Code HTML des MLLMs

L’exactitude de la compréhension des pages Web sous différentes configurations de données et de colonnes vertébrales LLM. Tous les modèles sont accordés d’instructions et évalués sur notre benchmark WUB. Nous notons que les données de domaine général (c’est-à-dire LLaVA) sont incluses dans toutes les configurations de données par défaut.

La performance des différentes colonnes vertébrales LLM sous différentes configurations de données sur notre Benchmark de Génération de Code de Page Web (WCGB). ‘VSA’ désigne la Structure et l’Alignement Visuels, ‘CAD’ représente la Couleur et le Design Esthétique, ‘TCC’ représente la Cohérence Textuelle et de Contenu, et ‘UII’ désigne l’Interface Utilisateur et l’Interactivité.

Exemples

Quelques exemples de notre jeu de données.

Licence

Avis d’Utilisation et de Licence : Les avis d’utilisation et de licence : Les données sont destinées et autorisées uniquement à des fins de recherche. Le jeu de données est sous licence CC BY 4.0 (autorisation uniquement pour une utilisation non commerciale) et les modèles entraînés à l’aide du jeu de données ne doivent pas être utilisés en dehors des fins de recherche.

Source de l’article